量子位· 一水·· 11 小时前精选AI 评分77
港科大、CMU与岩芯矩阵开源 EdgeRock-4B,KV Cache减少99.1%
KV Cache砍掉99%,单卡吞吐飙6倍,港科CMU联手岩山科技开源新模型
AI 导读
岩芯矩阵联合港科大、CMU等高校开源 EdgeRock-4B,在256K上下文下将 KV Cache 固定在72MiB,单张80GB GPU可同时运行512路长推理,输出吞吐达到12124 tokens/s,是源模型的6.42倍。该模型基于Qwen3.5-4B改造,引入记忆岩锚机制,并支持文本和图像推理;AIME 2024–2026平均一次通过率为82.9%。
推荐理由
文章通过吞吐、显存和基准对比,说明固定容量记忆机制如何兼顾长上下文推理效率与模型能力。
来源:量子位 · qbitai.com