m-bain/whisperX

何を解決するか

WhisperX は OpenAI のオリジナル Whisper モデルの制限、特に高速推論のためのネイティブバッチ処理の欠如と発話レベルのタイムスタンプの不正確さに対処します。高精度な単語レベルのタイミングと、音声ストリーム内の異なる発話者を識別できる機能を備えた高速音声認識を実現します。

動作方法

WhisperX は多段階パイプラインを使用して音声認識を改善します。

1. バッチ推論: faster-whisper バックエンドを使用して、リアルタイムの 70 倍まで高速に音声認識を実行します（large-v2 用）。
2. VAD 前処理: 音声活動検出（VAD）により音声セグメントを特定し、誤検出を低減し、ワード誤り率（WER）を低下させることなく効率的なバッチ処理を可能にします。
3. 強制同期: タイムスタンプの不正確さを修正するために、音素ベースの ASR モデル（例: wav2vec2.0）を使用して、表記音声を音声に同期させ、正確な単語レベルのセグメントを生成します。
4. 発話者ダイアライゼーション: pyannote-audio を統合して音声ストリームを分割し、転写テキストに発話者IDラベルを付与します。

対象ユーザー

長時間の音声記録に高パフォーマンスな自動音声認識（ASR）と正確なタイミング、発話者識別が必要な開発者や研究者向けです。

特徴

• 極めて高速: バッチ推論により、リアルタイムの 70 倍の速度で音声認識が可能。
• 単語レベルの精度: 発話レベルの推定ではなく、wav2vec2 同期により正確なタイムスタンプを提供。
• 発話者識別: 発話者ダイアライゼーションの組み込みサポートにより、誰が話しているかをラベル付け可能。
• 低メモリ使用量: 特定の設定で large-v2 モデルでも GPU メモリが 8GB 未満で動作。
• 多言語対応: 自動的に選択された音素ベース ASR 同期モデルにより、複数言語をサポート。