AWS演示用torchtitan在Trainium上训练Qwen3

AWS发布教程，演示用torchtitan在单台Trainium trn2.48xlarge实例上训练Qwen3，提供Transformers v5后端、原生实现和自定义NKI混合专家（MoE）内核三种配置。配置支持从随机初始化开始预训练，也支持微调已发布权重；微调后可导出标准Hugging Face safetensors检查点。 教程要求使用面向Neuron的AWS深度学习镜像或Neuron PyTorch训练容器，并固定软件版本。其中，Qwen3-30B-A3B示例缩减至4层、64个专家，以适配单台实例，并非完整规模模型的单机训练演示。

AI 根据报道生成 · 1 天前更新

还没有足够的连续观测数据，暂不绘制趋势。