联想介绍存算融合池化方案及推理测试结果

联想将内存池化与近存计算结合，把大模型推理中的注意力计算下沉至内存池侧；据介绍，端到端测试中，该方案相比RDMA分布式内存池实现推理加速2至3倍，系统吞吐随上下文变长提升6至20倍。 该方案针对KV Cache扩张带来的存储容量与访存开销瓶颈。肖利民介绍，联想研究院团队建立了成本分析模型，依据链路拓扑、上下文长度等输入调整编排策略，将KV按注意力头切分，并与GPU张量并行策略对齐，以减少设备间通信。

AI 根据报道生成 · 9 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。