NVIDIA Nemotron 3.5 Transcribe と Granary v2: プロンプトで自在に適応できるインテリジェント多言語文字起こし

NVIDIA Nemotron 3.5 Transcribe は、オープンウェイトでプロンプト可能なモデルであり、文字起こし、話者属性（ダイアライゼーション）、翻訳、音声質問応答を単一のチェックポイントに統合し、多言語音声処理における大幅な進歩を実現します。

中核機能とパフォーマンスベンチマーク

Nemotron 3.5 Transcribe は、複数の言語とシナリオにわたる複雑な音声タスクを処理できる統合音声モデルです。40言語の文字起こし、31言語の翻訳（英語との間）、最大13言語の話者属性をサポートし、最大1時間の録音を処理し、最大8人の話者をラベル付けできます。

リーダーボードランキング

このモデルは、いくつかの業界ベンチマークでトップクラスのパフォーマンスを発揮します。

  • Hugging Face Open ASR Leaderboard: Nemotron 3.5 Transcribe は、英語の文字起こしにおいて、平均単語誤り率（WER）5.33%でオープンウェイトモデルの中で第1位です。また、多言語（平均WER 4.62%）および長文（平均WER 10.98%）トラックでも、評価されたオープンウェイトモデルの中で最も低いWERを達成しています。
  • Artificial Analysis Speech-to-Text Leaderboard: オープンウェイトモデルの中で、2.8%のAA-WERで首位に並び、この精度をわずか約40億のアクティブパラメータで達成しており、精度対アクティブパラメータのパレートフロンティアに位置しています。
  • David AI DAI-ASR-I18N Leaderboard: Transcribe は、文字起こしと話者属性を組み合わせたトラックで、評価されたオープンウェイトモデルの中で第1位であり、21言語にわたって最低のダイアライゼーション誤り率（18.26%）を達成しています。
  • VoiceArena Diarization-Bench: 英語のフルセッションベンチマークで14システム中トップであり、対面およびオンラインの両方の設定で、最低の連結最小置換WER（cpWER）32.4%を記録しています。

多用途出力のための自然言語プロンプト

Nemotron 3.5 Transcribe を使用すると、開発者は自然言語の指示でモデルの出力を導くことができ、単一のチェックポイントで複数のアプリケーションのニーズに対応できます。

タスク固有の指示

プロンプトに応じて、同じ録音を処理して異なる結果を得ることができます。

  • 文字起こしとダイアライゼーション: 「この録音を文字起こしし、各話者にラベルを付けてください」のようなプロンプトで、完全に属性付けされたトランスクリプトが生成されます。
  • 翻訳: 「この音声を英語に翻訳してください」のようなプロンプトで翻訳が実行されます。
  • 音声質問応答（QA）: 「この会議でどのような決定がなされましたか？」のようなプロンプトで、モデルが音声コンテンツから特定の情報を抽出できます。

文脈バイアス

専門分野向けに、開発者は事前に用語のリストを提供して文脈を設定できます。例えば、医療現場では、プロンプトは次のようになります。「この医療ディスカッションを元の言語で文字起こししてください。可能な用語: HbA1c、メトホルミン。これらの用語は音声で裏付けられる場合にのみ使用してください。標準的な医療スペルを維持し、数字は従来の表記で記述してください。」

Sources