腾讯 D-Quant 将 KV 缓存压至 2.26 比特，性能接近 BF16

腾讯 D-Quant 利用熵编码将 KV 缓存压至每元素 2.26 比特，性能接近 BF16。该方法无需校准数据，以固定大小容器容纳变长码流，支持并行反量化。KV 内存最多降低 7×，解码吞吐提升 3.5×，但熵编解码存在计算开销，注意力算子的定制集成仍有工程门槛。