Granite Speech 5.0 Turbo CTC リリースノート / 新機能

Hugging Face と IBM は、極限のスピードと高い精度を実現するために設計された、470M パラメータの英語音声認識モデルのペアである Granite Speech 5.0 Turbo CTC をリリースしました。これらのモデルは、NVIDIA H200 GPU 上で 12,600 RTFx を超えるスループットを達成でき、バッチ推論を使用することで、1 秒間に 3.5 時間以上の音声を文字起こしすることが可能です。

モデルのバリエーションとライセンス

異なるライセンスとデータ要件に対応するため、2 つのモデルバージョンが用意されています。

granite-speech-5.0-470m-turboctc: 小規模なデータセットでトレーニングされた Apache 2.0 ライセンスのモデル。
granite-speech-5.0-470m-turboctc-nc: 精度向上のために追加データでトレーニングされた、CC-BY-NC-SA-4.0 ライセンスの非商用モデル。

パフォーマンスとベンチマーク

OpenASR Leaderboard の公開英語短文テストセットに基づく非公式の結果では、両モデルとも高い精度と前例のないスループットを示しています。

精度: 非商用 (NC) モデルは、集計 Word Error Rate (WER) 4.85% を達成し、Apache 2.0 モデルは 5.00% WER を記録しました。
スループット: 両モデルとも 12,600 RTFx を超えました。
比較パフォーマンス: NC モデルは、ほとんどのテストセットにおいて Apache 2.0 モデルを上回る傾向にあり、SPGI Speech では大きな優位性を示していますが、chunked Earnings22 テストではパフォーマンスが低下します。

2026 年 8 月 25 日時点の FFASR Leaderboard の公式結果では、granite-speech-5.0-470m-turboctc-nc モデルが精度で第 5 位、granite-speech-5.0-470m-turboctc モデルが第 9 位となり、両モデルともリーダーボード上で最も速いモデルとなっています。

モデルのアーキテクチャ

Granite Speech 5.0 Turbo CTC は、エンコーダーのみのアーキテクチャを採用しており、音響エンコーダーにプロジェクターと LoRA アダプターを備えた Granite LM を組み合わせた従来の Granite Speech モデルとは異なります。この設計により、メモリ使用量を 470M パラメータに抑え、以前のバージョンと比較してスループットを 20 倍以上に向上させました。

技術仕様

構造: 16 個の Conformer ブロックのスタック。
最適化: トレーニング中に Connectionist Temporal Classification (CTC) 損失を使用。
アテンション・メカニズム: シーケンス長による二次関数的なスケーリングを防ぐため、chunkwise attention を採用。
自己条件付け (Self-Conditioning): 8 番目のブロックの出力時に実装。

時間的サブサンプリング

トークンレートを毎秒 100 フレーム (log Mel spectrogram front end) から毎秒 12.5 トークンに削減するため、モデルは 3 つの段階の 2x サブサンプリングを行います。

第 1 段階: 連続する log Mel 特徴量ベクトルを reshape() 操作によってスタックします。
第 2 および第 3 段階: strided convolutions を使用して時間的ダウンサンプリングを行うため、最初の 2 つの Conformer ブロックに統合されています。

トークン化

モデルは、以前のエンコーダーよりも低いトークンレートで動作します。granite-speech-5.0-470m-turboctc-nc モデルは SentencePiece トークン化を使用し、granite-speech-5.0-470m-turboctc モデルは BPE トークン化を使用します。どちらのトークナイザーも音声文字起こしに特化してトレーニングされています。

トレーニングデータ

トレーニングには、自然なデータセットと合成データセットの組み合わせが使用されました。両モデルとも、以下の自然データセットでトレーニングされています。

Dataset	Hours	Source
MLS	44,600	Multilingual LibriSpeech
YODAS	8,900	ESPnet YODAS
CommonVoice-17	2,500	Mozilla Common Voice 17.0
Librispeech	960	OpenSLR LibriSpeech ASR
VoxPopuli	500	Facebook VoxPopuli
AMI	150	Edinburgh CSTR AMI
Earnings-22	100	ESB Datasets

非商用 (NC) モデルは、GigaSpeech (10,000 時間) と SPGI Speech (4,900 時間) で追加のトレーニングを受けました。

さらに、両モデルとも、以下の 3 つの合成データセットでトレーニングされています。

Multi-speaker concatenation (General): MLS, YODAS, CommonVoice-17, VoxPopuli, および AMI から生成された 2,000 時間。
Multi-speaker concatenation (Earnings-22): Earnings-22 から生成された 500 時間。
Targeted Utterances: gpt-oss-120b または gpt-oss-20b を介して生成され、StyleTTS2 を使用して合成された、数字、通貨、および住所の 240 時間。

使用方法と実装

Granite Speech 5.0 Turbo CTC は、transformers ライブラリでネイティブにサポートされています。ユーザーは Hugging Face エコシステムから AutoModelForCTC と AutoProcessor を使用してモデルを実装できます。