m-bain/whisperX

解決する課題

WhisperXは、大幅に高速な文字起こし速度、より正確な単語レベルのタイムスタンプ、および統合された話者分離機能を提供することで、OpenAIのWhisperを改良します。これは、数秒の誤差が生じる可能性がある発話レベルのタイムスタンプや、元のWhisperモデルにネイティブなバッチ処理機能がないといった一般的な問題を解決します。

仕組み

WhisperXは、オーディオを処理するために多段階のパイプラインを使用します：

1. Transcription: faster-whisper バックエンドを利用したバッチ推論により、最大で実時間の70倍の速度を実現します。
2. Alignment: 正確な単語レベルのタイムスタンプを実現するために、音素ベースのASRモデル（wav2vec2.0 など）を使用して、文字起こし内容をオーディオに強制アライメントします。
3. Diarization: pyannote-audio を統合してオーディオストリームを分割し、文字起こしに話者IDラベルを割り当てます。
4. Preprocessing: Voice Activity Detection (VAD) を使用して、ハルシネーションを減らし、単語誤り率 (WER) を低下させることなく効率的なバッチ処理を可能にします。

対象者

このツールは、長時間のオーディオ録音に対して、話者識別を含む高速で時間の正確な音声からテキストへの文字起こしを必要とする開発者や研究者向けに設計されています。

ハイライト

• 圧倒的なスピード: large-v2 を使用して、最大で実時間の70倍の文字起こしを実現。
• 単語レベルの精度: 強制音素アライメントによる正確なタイムスタンプ。
• 話者識別: 誰が話しているかをラベル付けするための統合された話者分離。
• 効率的なメモリ使用: ビームサイズ5の large-v2 で、8GB未満のGPUメモリで動作。
• 多言語サポート: 英語、フランス語、ドイツ語、スペイン語、イタリア語を含む複数の言語をサポートし、自動的なアライメントモデルの選択が可能です。