跳到正文
掘金 · 人工智能· 地平线开发者·· 2 小时前AI 评分63

EAGLE 与 EAGLE-3 如何用特征预测加速投机解码

【大模型】EAGLE 与 EAGLE-3:用“特征预测“加速投机解码

AI 导读

文章介绍 EAGLE 与 EAGLE-3 如何利用 Target Model 的隐藏特征预测未来 Token,再由 Target Model 批量验证,以减少串行 Decode 轮数。

来源:掘金 · 人工智能 · juejin.cn