単一の trn2.48xlarge 上で、AWS Trainium の Qwen3 を torchtitan で 3 通りにトレーニングします。Hugging Face Transformers v5 のモデリングバックエンド、torchtitan ネイティブの Qwen3、NKI の mixture-of-experts カーネルです。同じ torchrun ランチャーと設定構造が、公開されている Hugging Face safetensors の読み込みと保存を含め、3 つのパスすべてで変更なしに機能します。
news
AWS Trainiumでtorchtitanを使ってQwen3をトレーニングする
AWS Trainium上で単一のtrn2.48xlargeを使い、torchtitanでQwen3を3つの方法でトレーニングする：Hugging Face Transformers v5のモデリングバックエンド、torchtitanネイティブのQwen3、そしてNKIのmixture-of-expertsカーネルである。同じtorchrunランチャーと設定構造が、公開されているHugging Face safetensorsの読み込みと保存を含め、3つのパスすべてで変更なしに機能する。