news

在AWS Trainium上使用torchtitan训练Qwen3

在单台 trn2.48xlarge 上,通过三种方式在 AWS Trainium 上使用 torchtitan 训练 Qwen3:Hugging Face Transformers v5 建模后端、torchtitan 原生 Qwen3,以及 NKI 混合专家内核。相同的 torchrun 启动器和配置结构在全部三条路径上均无需更改即可使用,包括加载和保存已发布的 Hugging Face safetensors。

2026年10月21日13 阅读

在单台 trn2.48xlarge 上,通过三种方式在 AWS Trainium 上训练 Qwen3:Hugging Face Transformers v5 建模后端、torchtitan 原生 Qwen3,以及 NKI 混合专家内核。相同的 torchrun 启动器和配置结构在全部三条路径上保持不变,包括加载和保存已发布的 Hugging Face safetensors。