news

Entraîner Qwen3 sur AWS Trainium avec torchtitan

Entraînez Qwen3 sur AWS Trainium avec torchtitan de trois manières sur un seul trn2.48xlarge : le backend de modélisation Hugging Face Transformers v5, le Qwen3 natif de torchtitan et les kernels mixture-of-experts NKI. Le même lanceur torchrun et la même structure de configuration fonctionnent sans modification sur les trois chemins, y compris le chargement et la sauvegarde des safetensors Hugging Face publiés.

21 oct. 202618 vues

Entraînez Qwen3 sur AWS Trainium avec torchtitan de trois façons sur un seul trn2.48xlarge : le backend de modélisation Hugging Face Transformers v5, le Qwen3 natif de torchtitan, et les kernels mixture-of-experts NKI. Le même lanceur torchrun et la même structure de configuration fonctionnent sans modification sur les trois chemins, y compris le chargement et la sauvegarde des safetensors Hugging Face publiés.

Train Qwen3 on AWS Trainium with torchtitan | TolsAI