collabora/WhisperLive

何を解決するか

WhisperLive は OpenAI の Whisper モデルに基づいた、ほぼリアルタイムの音声認識システムを提供します。最小限の遅延で音声をテキストに変換する課題を解決し、マイクからのライブ音声、RTSP/HLSストリーム、または事前に録音されたファイルの音声を話されている途中でリアルタイムに文字起こしできます。

動作方法

このプロジェクトはクライアント-サーバー型アーキテクチャを採用しています。サーバーがAIモデルの推論処理の大部分を担当し、クライアントは音声データを送信します。faster_whisper、tensorrt（NVIDIA）、openvino（Intel）、および CTranslate2 を通じた AMD ROCm に対応する複数の高性能推論バックエンドをサポートしています。サーバーは複数の同時接続クライアントを処理でき、GPUのスループットを向上させるバッチ推論モードも提供しています。

対象ユーザー

このツールは、ライブ字幕、音声制御インターフェース、ストリーミング音声認識サービスなどのリアルタイム音声認識アプリケーションを開発する開発者向けに設計されています。また、エンドユーザー向けにブラウザ拡張機能と iOS クライアントも提供しています。

主な特徴

• マルチバックエンド対応：NVIDIA GPU（TensorRT）、Intel CPU/GPU（OpenVINO）、AMD GPU（ROCm）に最適化されています。
• 高度な音声認識機能：単語レベルのタイムスタンプ、カスタム語彙の強化（ホットワード）、pyannote.audio を用いた話者分離を備えています。
• 柔軟な入力ソース：ライブマイク入力、音声ファイル、ネットワークストリーム（RTSP/HLS）に対応しています。
• ストリーミングクライアント：任意のカスタムソースから生のPCM音声バイトを送信するための専用 StreamingTranscriptionClient があります。
• デプロイオプション：さまざまなハードウェア構成に対応する Docker コンテナとして利用可能です。