IBM 发布 Granite Speech 5.0 新模型，并更新高速转写与说话人归属模型

我们很高兴分享 IBM Granite Speech 系列的三项更新：全新的语音语言模型 granite-speech-5.0-2b，以及社区已在使用的两款模型的修订版——granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。它们共同覆盖企业语音工作的全部需求：高准确率的转写和翻译、边缘端的极速转写，以及说话者身份和发言时间与发言内容同样重要的录音处理。

模型	状态	新增功能	最适合
`granite-speech-5.0-2b`	新增	准确率更高、对噪声和混响更稳健的自动语音识别（ASR），语言标识提示，支持 2,000 个词条的关键词偏置，更出色的长篇语音翻译	高准确率的多语言转写和翻译
`granite-speech-5.0-470m-turboctc`	已更新	支持多语言、原生标点和大小写，对噪声和混响更稳健	高吞吐量转写和设备端转写
`granite-speech-4.1-2b-plus`	已更新	改进了说话者归属、时间戳、关键词偏置和长语音处理性能	会议、通话及其他多说话者录音

Granite Speech 5.0 2B：更准确、更稳健、更可控

granite-speech-5.0-2b 是 granite-speech-4.1-2b 的后继模型，参数量保持不变。它可转写英语、法语、德语、西班牙语、葡萄牙语和日语，支持英语与上述其他语言之间的双向翻译，还支持从英语翻译为意大利语和普通话。它使用 390,000 小时的公开音频进行训练，并加入了专为日语 ASR、关键词偏置和翻译构建的合成数据。

相比 4.1 2B Speech 的新增功能：

更准确、更稳健的英语 ASR：在英语短语音基准测试中准确率更高，并且能更好地处理噪声、混响和远距离麦克风采集的语音。
语言标识提示：在提示中指明输入语言，引导多语言转写。
更出色的长篇语音和对话翻译：面对更长、更自然的语音，翻译仍能保持质量，而不局限于简短的朗读句子。
支持最多 2,000 个词条的关键词列表：在所有支持的语言中，引导转写和翻译优先采用产品名称、人名和缩略词。
按需添加标点和大小写：在提示中要求输出带格式的文本；在我们的各个测试集中，大小写 F1 分数介于 89.7 至 99.5 之间。

该模型以 Apache 2.0 许可证发布，支持 Transformers、vLLM、llama.cpp，以及面向 Apple Silicon 的 mlx-audio。

图 1：在顶尖开放权重 ASR 模型中，granite-speech-5.0-2b 的平均英语词错误率（WER）排名第 2，为 5.06%。数值越低越好。结果为截至 2026 年 10 月 21 日的官方数据，取 Open ASR Leaderboard 公开英语短语音测试集上的平均值。

Granite Speech 5.0 Turbo CTC：现已支持多语言，更稳健，速度更快

我们在8 月推出 Turbo CTC 时，它还是一个仅支持英语、专为速度打造的 470M 参数编码器。此次修订保持了这一规模，并新增了用户最期待的三项功能：

多语言转写：英语、日语、西班牙语、德语、法语、意大利语和葡萄牙语。
原生标点和大小写：转写文本输出后即可阅读，无需单独添加标点或恢复正确大小写。
在复杂声学条件下更稳健：明确针对混响音频开展的训练，让 Turbo CTC 在有回声的房间和远场录音中表现得更加稳健。

它的速度也更快了。通过编译单个 Conformer 模块，并在整个堆叠结构中复用其计算图，我们缩短了预热时间，并将 Turbo CTC 在 Open ASR Leaderboard 上的表现从发布时的约 12,600 RTFx 提升至 19,870 RTFx：在准确率相同的情况下，速度约为原来的 1.6 倍。

图 2：Open ASR Leaderboard 上的平均 WER 与 RTFx 对比（英语短语音，9 个公开测试集，截至 2026 年 10 月）。WER 越低、RTFx 越高越好；RTFx 采用对数刻度。

Granite Speech 4.1 2B Plus：更准确地识别谁在何时说了什么

更新后的 granite-speech-4.1-2b-plus 针对企业实际拥有的录音进行了调优：会议、客服通话，以及有多位说话者参与的长时间访谈。它保留了 4.1 这一名称，因为其架构、提示词格式和 API 均未改变，因此可凭借改进后的权重直接替换当前模型。此次更新改进了四个方面：

说话人归属：更准确地标注正在说话的人。词级说话人分离错误率（WDER）下降 7%，说话人归属词错误率（cpWER）总体下降 7%。
时间戳：平均时间戳偏移（AAS）减少一半以上，使字幕、搜索和审阅中的时间定位更加精确。
长语音性能：长语音测试集上的 WER 下降 24%。
关键词偏置：使用含 20 个词条的关键词列表时，偏置关键词的错误率下降 45%。

能力	指标	上一版本	更新后的模型
时间戳，所有语音	AAS（平均时间戳偏移）	210.86	98.54
时间戳，短语音	AAS（平均时间戳偏移）	29.27	26.20
关键词偏置	偏置词 WER，含 20 个词条的列表	11.79	6.48
长语音	WER，长语音测试集	13.53	10.22
说话人归属	WDER	4.40	4.10
标注说话人归属的转写文本	cpWER	30.50	28.48

表 1：所有指标均为错误率，因此越低越好。更详细的结果请参阅模型卡。

开始使用

不确定该选择哪个模型？从这里开始：

需要高准确率转写、翻译或关键词偏置？请使用 granite-speech-5.0-2b。
追求极致速度或需要设备端转写？请使用 granite-speech-5.0-470m-turboctc，并通过我们的 WebGPU 流式演示在浏览器中试用。
需要处理会议或多说话人通话？请使用 granite-speech-4.1-2b-plus。

这些模型均以 Apache 2.0 许可证发布，并获得 Transformers 的原生支持。完整的评估结果、架构细节、训练数据和使用示例均可在各模型卡中找到。对于需要额外风险检测的生产部署，我们建议将它们与 Granite Guardian 搭配使用。

欢迎试用，并告诉我们您的想法！