腾讯提出D-Quant，将KV缓存压至2.26比特
热点事件持续更新
腾讯提出D-Quant，将KV缓存压至2.26比特
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
腾讯团队提出大模型推理KV缓存压缩方法D-Quant。据报道，该方法将KV缓存压至每元素2.26比特，模型表现接近BF16，KV内存占用最多降低7倍，解码吞吐提升3.5倍。 D-Quant利用熵编码为常见值分配短码、稀有值分配长码，并用固定大小容器容纳变长码流，支持并行反量化，无需校准数据。不过，熵编解码仍有计算开销，与注意力算子的定制集成也存在工程门槛。
AI 根据报道生成 · 12 小时前更新
最新进展10月23日 08:11
腾讯 D-Quant 将 KV 缓存压至 2.26 比特，性能接近 BF16报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- 掘金 · 人工智能腾讯 D-Quant 将 KV 缓存压至 2.26 比特，性能接近 BF16
腾讯 D-Quant 利用熵编码将 KV 缓存压至每元素 2.26 比特，性能接近 BF16。该方法无需校准数据，以固定大小容器容纳变长码流，支持并行反量化。KV 内存最多降低 7×，解码吞吐提升 3.5×，但熵编解码存在计算开销，注意力算子的定制集成仍有工程门槛。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。