掘金 · 人工智能· 得物技术·· 3 小时前AI 评分50
昇腾 910C 大模型推理优化(下):得物技术通过源码与算子优化提速30%
国产算力·昇腾 910C 大模型推理优化(下):源码修改与算子优化,提速30%|得物技术
AI 导读
得物技术分享昇腾 910C 上基于 vllm-ascend 的源码修改、算子融合、静态编译与 MTP 投机解码优化。针对 Qwen3.5-35B-A3B,真实业务数据下 c=1 TPOT 降至 5.0ms,较基线下降 64.8%;融合算子还使 c=1 TTFT 从 213ms 降至 179ms。
来源:掘金 · 人工智能 · juejin.cn