Granite Speech 5.0 发布：增强的转录、翻译和说话人归属

Granite Speech 5.0 系列为 IBM 的语音模型带来了三项重大更新，覆盖了企业语音需求的全部范围：高精度的多语言转录和翻译、极快的设备端转录，以及详细的多说话人录音分析。

Granite Speech 5.0 2B：高精度和多语言控制

granite-speech-5.0-2b 模型是 granite-speech-4.1-2b 的继任者，专为高精度的多语言转录和翻译而设计。它支持英语、法语、德语、西班牙语、葡萄牙语和日语的转录，以及这些语言与英语之间的互译，另外还支持英语到意大利语和普通话的翻译。

该模型在 390,000 小时的公共音频上进行了训练，并辅以专门为日语 ASR、关键词偏向和翻译设计的合成数据。

与之前版本相比，主要改进包括：

  • 增强的鲁棒性： 该模型在英语短格式基准测试中表现出更高的准确性，并且能更有效地处理噪声、混响和远距离麦克风语音。
  • 多语言引导： 用户可以使用语言 ID 提示来明确指定输入语言，从而引导多语言转录过程。
  • 高级翻译： 对于长格式和对话式语音，翻译质量得到提升，超越了简单的短句翻译。
  • 关键词偏向： 该模型支持最多 2,000 个术语的关键词列表，允许在所有支持的语言中，将转录和翻译偏向特定的产品名称、人名或缩写。
  • 格式化输出： 可以通过提示请求标点和大写，在测试集上实现 89.7 到 99.5 的大写 F1 分数范围。

非官方地，granite-speech-5.0-2b 在平均英语 WER 方面排名前二的开源 ASR 模型中位列第二，在 Open ASR 排行榜的公共英语短格式测试集上取得了 5.06% 的分数。

Granite Speech 5.0 Turbo CTC：速度和边缘部署

granite-speech-5.0-470m-turboctc 模型保持了其 470M 参数的小巧体积，同时显著增强了其高吞吐量和设备端转录的能力。

此版本通过添加三个主要功能来满足关键用户需求：

  • 多语言支持： 该模型现在支持英语、日语、西班牙语、德语、法语、意大利语和葡萄牙语的转录。
  • 原生格式化： 转录结果带有原生标点和大写，无需单独的后处理步骤。
  • 声学鲁棒性： 训练明确针对混响音频，使 Turbo CTC 在处理来自回声房间或远场源的录音时更加鲁棒。

在性能方面，该模型速度更快，在 Open ASR 排行榜上达到了 19,870 RTFx，比其最初发布的 12,600 RTFx 性能提升了约 1.6 倍，同时保持了相同的准确性水平。

Granite Speech 4.1 2B Plus：多说话人和长格式分析

更新后的 granite-speech-4.1-2b-plus 专门针对复杂的企业录音进行了调优，例如涉及多个说话人长时间进行的会议、支持电话和访谈。该模型是当前版本的直接替代品，保留了原始架构、提示格式和 API，同时受益于改进的权重。

此版本在四个关键领域带来了显著的性能提升：

  • 说话人归属： 该模型提高了标记说话人的准确性。词级说话人日志错误率（WDER）下降了 7%，说话人归属的 WER（cpWER）总体下降了 7%。
  • 时间戳： 平均时间戳偏移（AAS）减少了一半以上，使得字幕、搜索和审查的时间更加精确。对于短语音，AAS 从 29.27 降至 26.20；对于所有语音，AAS 从 210.86 降至 98.54。
  • 长语音性能： 长格式测试集上的 WER 降低了 24%，从 13.53 提高到 10.22。
  • 关键词偏向： 使用 20 个术语的关键词列表时，与偏向关键词相关的错误减少了 45%，从 11.79 提高到 6.48。

模型选择与部署

模型的选择取决于主要使用场景：

  • 对于高转录准确性、翻译或关键词偏向： 使用 granite-speech-5.0-2b。
  • 对于原始速度或设备端转录： 使用 granite-speech-5.0-470m-turboctc。
  • 对于会议或多说话人通话： 使用 granite-speech-4.1-2b-plus。

所有模型均在 Apache 2.0 许可下发布，并在包括 Transformers、vLLM、llama.cpp 和用于 Apple Silicon 的 mlx-audio 等框架中提供原生支持。对于需要额外风险检测的生产部署，这些模型可以与 Granite Guardian 配对使用。

Sources