EAGLE与EAGLE-3特征预测机制及部署条件

地平线开发者讲解了 EAGLE 与 EAGLE-3 的投机解码机制：草稿模型利用目标模型的隐藏特征预测后续 Token，再由目标模型批量验证，以减少串行解码轮数。文章指出，EAGLE-3 的主要改进是使用更丰富的目标模型特征，并未取消验证，也不意味着候选 Token 天然一次并行生成。 并行生成多个草稿 Token 需要模型经过相应训练，并显式启用 parallel_drafting。部署还需确保草稿模型与目标模型的家族、词表、隐藏维度及辅助层配置匹配；草稿模型会增加权重和 KV Cache 占用，EAGLE-3 还要求目标模型能导出所需的辅助隐藏状态。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。