每天500万亿token背后，KV Cache正把存储墙推到台前

中国每天平均token消耗量升至500万亿，KV Cache扩张使大模型推理的存储容量与访存开销瓶颈凸显。联想将内存池化与近存计算结合，把注意力计算下沉至内存池侧。端到端测试中，相比RDMA分布式内存池，推理加速2~3倍，系统吞吐随上下文变长提升6~20倍。