zackees/transcribe-anything

解決する課題

transcribe-anything は、さまざまな OpenAI Whisper バリアントのインストールと使用を簡素化する、統合されたコマンドラインインターフェース (CLI) および Python API です。各バックエンドを独自の隔離環境で実行することで、異なる転写バックエンドをセットアップする際に発生しがちな「依存関係の地獄」を解消します。これにより、複雑な手動設定なしで、ローカルファイルや URL (YouTube, Rumble) をテキストや字幕ファイルに転写できます。

仕組み

このツールはルーターとして機能し、オーディオ/ビデオ入力を正規化プロセス ( yt-dlp および ffmpeg を使用) に通した後、 --device フラグに基づいて選択されたバックエンドに転送します。各バックエンドは、初回使用時に作成される隔離された仮想環境で管理されます。サポートされているバックエンドは以下の通りです：

• openai-whisper: CPU/CUDA 用の参照実装。
• insanely-fast-whisper: バッチ処理された Hugging Face パイプラインとオプションの FlashAttention2 (--device insane-flash) を活用する高性能 CUDA バックエンド。
• WhisperX: VAD チャンキング、正確なタイムスタンプのための wav2vec2 強制アライメント、および話者分離機能を提供。
• SenseVoice: CJK 言語と速度に最適化された非自己回帰型多言語モデル。
• lightning-whisper-mlx: Apple Silicon (Metal GPU) に最適化。
• Intel Arc GPU: Windows および Linux 上での XPU バックエンドをサポート。

対象ユーザー

複数の Python 環境を管理することなく、さまざまなハードウェアプラットフォーム (NVIDIA GPU, Apple Silicon, Intel Arc, または CPU) で高品質かつプライベートなローカル転写および翻訳サービスを必要とするコンテンツクリエイター、開発者、研究者。

ハイライト

• 隔離環境: 依存関係の競合を防ぐため、各バックエンドに対して個別の venv を自動的に管理します。
• マルチバックエンドサポート: 複数の最先端転写エンジンを1つのツールに統合。
• 話者分離: 会話を話者ごとに分割するユニークな speaker.json ファイルを生成。
• 音素レベルの正確なタイムスタンプ: --align フラグにより、高速パスでの単語レベルのアライメントを提供。
• 幅広い入力サポート: ローカルファイルおよびリモート URL (YouTube/Rumble) をネイティブに処理。
• クロスプラットフォーム: Windows, Linux, macOS をネイティブサポート。