NVIDIA Nemotron 3.5 Transcribe 与 Granary v2：可提示和自适应的智能多语言转录

NVIDIA Nemotron 3.5 Transcribe 是一个开放权重、可提示的模型，将转录、说话人归属（说话人分离）、翻译和音频问答集成到单个检查点中，在多语言语音处理方面提供了显著进步。

核心能力与性能基准

Nemotron 3.5 Transcribe 是一个统一的语音模型，能够处理跨多种语言和场景的复杂音频任务。它支持 40 种语言的转录、31 种语言的翻译（与英语互译），以及最多 13 种语言的说话人归属，可处理长达一小时的录音并标记最多八位说话人。

排行榜排名

该模型在多个行业基准测试中表现出顶级性能：

  • Hugging Face Open ASR 排行榜： Nemotron 3.5 Transcribe 在英语转录方面以平均词错误率（WER）5.33% 在开放权重模型中排名第一。在多语言（平均 WER 4.62%）和长格式（平均 WER 10.98%）赛道中，它在被评估的开放权重模型中排名也最低。
  • Artificial Analysis 语音转文本排行榜： 它以 2.8% 的 AA-WER 在开放权重模型中并列第一，仅使用约 40 亿个活跃参数即可实现此准确度，使其处于准确度与活跃参数的帕累托前沿。
  • David AI DAI-ASR-I18N 排行榜： Transcribe 在转录与说话人归属组合赛道中，在被评估的开放权重模型中排名第一，并在 21 种语言中实现了最低的说话人分离错误率（18.26%）。
  • VoiceArena 说话人分离基准： 在英语完整会话基准测试中，它在 14 个系统中领先，在面对面和在线场景中均发布了最低的拼接最小置换 WER（cpWER）32.4%。

自然语言提示实现多功能输出

Nemotron 3.5 Transcribe 允许开发人员使用自然语言指令引导模型输出，使单个检查点能够满足多种应用需求。

任务特定指令

根据提示的不同，同一录音可以被处理以获得不同结果：

  • 转录和说话人分离： 像“转录此录音并标记每位说话人”这样的提示会生成完全归属的转录文本。
  • 翻译： 像“将此音频翻译成英语”这样的提示会执行翻译。
  • 音频问答（QA）： 像“这次会议做出了哪些决定？”这样的提示允许模型从音频内容中提取特定信息。

上下文偏置

对于专业领域，开发人员可以在训练前通过提供可能的术语列表来使用上下文。例如，在医疗保健环境中，提示可能为：“用原始语言转录此医学讨论。可能的术语：HbA1c、metformin。仅在音频支持时使用这些术语。保留标准医学拼写，并以常规书面形式书写数字。”

Sources