i14与AWS公布Laplace 3B训练部署结果

i14与AWS公布了使用原生PyTorch在AWS Trainium2上训练和部署Laplace 3B线性注意力模型的方法与结果。据团队报告，单实例训练吞吐量约为每秒12万tokens，推理在1,280路并发下每秒输出11,544 tokens；模型每序列状态固定为29.5 MB，不随上下文长度增长。 团队比较两种方案后，因性能更好选择了测试版TorchNeuron Native后端，并进行了架构适配、分布式优化器通信改造和推理优化。公布的训练结果截至84,210步、约440亿tokens；团队提醒，BF16运算重排会使编译执行与即时执行的输出略有不同，需要精确复现时应使用即时解码。

AI 根据报道生成 · 1 天前更新

还没有足够的连续观测数据，暂不绘制趋势。