Softcatala/whisper-ctranslate2

解決する問題

Whisper-ctranslate2 は、OpenAI の Whisper 向けの高性能コマンドラインクライアントで、音声の文字起こしと翻訳に必要な時間とメモリを削減するように設計されています。CTranslate2 と Faster-whisper を活用することで、元の OpenAI 実装の推論速度の遅さに対処しています。

仕組み

このプロジェクトは、CTranslate2 エンジンと Whisper モデルの Faster-whisper 実装を使用しています。Intel MKL、oneDNN、OpenBLAS、Ruy、Apple Accelerate などのさまざまなハードウェア最適化と、int8 などの量子化をサポートし、CPU と GPU の両方で実行を高速化します。元の OpenAI Whisper CLI との互換性を維持し、簡単に移行できます。

対象ユーザー

高速で効率的な音声からテキストへの文字起こしと翻訳を必要とするユーザー。特に、限られたハードウェアで実行しているユーザーや、大量の音声ファイルを処理するユーザーに適しています。

ハイライト

• 高性能: 元の OpenAI Whisper よりも最大 4 倍高速で、バッチ推論によりさらに高速化（最大 16 倍）できます。
• 話者分離: pyannote.audio と統合し、音声録音内の異なる話者を識別します。
• VAD フィルター: Silero VAD を使用して非音声セグメントをフィルタリングし、文字起こしの品質を向上させます。
• ライブ文字起こし: マイクから直接リアルタイムの文字起こしをサポートします。
• 柔軟なデプロイ: Python パッケージまたはモデルがプリロードされた Docker イメージとして提供されます。
• カスタムモデル: ローカルディレクトリからファインチューニングまたは量子化された Whisper モデルをロードできます。