目录

IBM 的 Granite Speech 此次发布为高精度转写与翻译、高速转写以及区分说话人的转写分别提供了不同模型。请根据用途选择。版本号最新，并不意味着一个模型在所有任务上都是最优选择。

要点#

  • granite-speech-5.0-2b 支持多语言转写、翻译，以及最多包含 2,000 个词的关键词列表。
  • granite-speech-5.0-470m-turboctc 面向 7 种语言的高速转写，原生支持标点和规范大小写。
  • 更新版 granite-speech-4.1-2b-plus 改善了说话人识别、时间戳和长录音的识别精度。
  • 所有模型均采用 Apache 2.0 许可证，并支持 Transformers，但公开的基准测试结果仍需用自己的录音和硬件验证。

根据所需输出选择#

需要高精度转写或语音翻译时，请先试用 granite-speech-5.0-2b。它支持英语、法语、德语、西班牙语、葡萄牙语和日语转写。翻译支持英语与其他 5 种语言之间的双向互译，还支持将英语翻译成意大利语和中文（普通话）。

需要高吞吐量或在设备端转写时，请试用 granite-speech-5.0-470m-turboctc。其 4.7 亿参数编码器支持英语、日语、西班牙语、德语、法语、意大利语和葡萄牙语。输出包含标点和规范大小写。

对于重视说话人标签或发言时间的会议、访谈和通话，请使用 granite-speech-4.1-2b-plus。虽然版本号较旧，但此次发布指定由这一更新版模型处理多人录音。

控制精度和术语#

拥有 20 亿参数的 granite-speech-5.0-2b 新增了语言 ID 提示，可通过指定输入语言引导转写。除了指定标点和规范大小写，还可以传入最多 2,000 个关键词，让模型在转写或翻译时优先识别人名、产品名和缩写。

据 IBM 介绍，该模型的英语平均词错误率（WER）为 5.06%，在参与比较的开放权重 ASR 模型中排名第二。截至 2026 年 10 月 15 日，这一结果仍属非正式结果，测试使用的是 Open ASR Leaderboard 公开的英语短音频测试集。这并不意味着它在日语、长时间会议或自有音频上也能获得同样的排名。

请有针对性地使用各项设置。

  • 已知输入语言时，明确指定。
  • 提供录音中出现的术语，同时检查识别结果和多余插入的内容。
  • 读者需要标点和规范大小写时，指定格式化输出。
  • 单独评估翻译效果，尤其是长时间对话录音。

在自己的硬件上测量速度#

据 IBM 介绍，Turbo CTC 在 Open ASR Leaderboard 上达到了 19,870 RTFx，高于最初发布时的约 12,600。这相当于在保持所报告精度的同时，速度提升至约 1.6 倍。RTFx 表示相对于音频时长的处理速度，数值越高，吞吐量越高。

这项优化会编译一个 Conformer 块，并在堆叠的各个块中复用其计算图。IBM 表示，这也能缩短预热时间。修订版模型还增加了针对混响音频的训练，这与远距离麦克风或回声较强房间中的录音有关。

请将公开的吞吐量视为基准测试结果，而非应用响应时间的保证。应在目标设备上测量启动时间、处理速度和内存占用。IBM 的 WebGPU 流式演示可用于体验浏览器内转写，但仍需确认它在计划支持的设备上能否达到可接受的性能。

检查说话人和时间戳#

更新版 granite-speech-4.1-2b-plus 保留了原有架构、提示格式和 API。IBM 将其描述为改进权重后可直接替换的模型，因此，如果已经在使用该模型，可以优先试用更新版。

所报告的改进针对几项实际问题。

| 指标 | 旧版 | 更新版 | |---|---:|---:| | 长音频 WER | 13.53 | 10.22 | | 词级说话人分离错误率 | 4.40 | 4.10 | | 说话人匹配后的 WER，cpWER | 30.50 | 28.48 | | 平均时间戳偏差 | 210.86 | 98.54 |

长音频 WER 降低了约 24%，平均时间戳偏差降至原来的一半以下。使用包含 20 个词的关键词列表时，优先识别词的 WER 也从 11.79 降至 6.48，降幅约为 45%。这些都是 IBM 评估集上的相对降幅。时间戳偏差衡量的是时间误差，并非词错误率。此外，所提供的发布材料未明确标注其单位。

下一步#

使用适合用途的模型，从自己的录音中选取代表性样本，进行一次对比评估。纳入难以识别的音频和相关术语，记录转写错误、处理时间、说话人标签和时间戳错误，再选择部署配置。

来源: https://huggingface.co/blog/ibm-granite/granite-speech-5

目录