得物优化昇腾910C大模型推理

得物技术通过修改 vllm-ascend 源码、融合算子、静态编译和 MTP 投机解码，优化昇腾 910C 上 Qwen3.5-35B-A3B 的推理性能。在真实业务数据下，c=1 时 TPOT 降至 5.0ms，较基线下降 64.8%；融合算子还将 TTFT 从 213ms 降至 179ms。 这套快路径适用于 c=1~8 且 decode 的 num_tokens 小于 80 的场景；不支持的形状会回退到标准算子组合。该模型的 MTP 与静态 kernel 曾存在兼容性问题，需关闭其中一项，后续 0.26.0rc 版本镜像已解决。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。