Carleslc/AudioToText

解決する課題

AudioToTextは、音声ファイルをテキストに変換し、翻訳するプロセスを簡素化します。OpenAIのWhisperを使用して文字起こしと英語への翻訳を行い、DeepLと統合することで他のターゲット言語への翻訳も可能な統合インターフェースを提供します。

仕組み

このプロジェクトは、Pythonベースのツール（CLI、Jupyter Notebook、またはGoogle Colabとして利用可能）を提供します。Whisperモデルを活用してさまざまな言語の音声を文字起こししたり、直接英語に翻訳したりします。英語以外の言語への翻訳をサポートするために、文字起こし結果をDeepL API経由で処理します。出力形式は、プレーンテキスト (TXT)、WebVTT (VTT)、SubRip (SRT)、TSV、JSONなど多岐にわたります。

対象ユーザー

複雑な設定なしで、音声の文字起こしや動画・音声ファイルの多言語字幕生成を必要とするコンテンツクリエイター、研究者、開発者。

主な特徴

• マルチモデルサポート: オープンソースのWhisperモデル（tiny, base, small, medium, large, turbo）またはOpenAI APIから選択可能。
• 幅広い言語サポート: Whisperを介して幅広い言語の音声を文字起こしし英語に翻訳、またはDeepLを介して他のさまざまな言語に翻訳。
• 字幕生成: VLCなどのメディアプレイヤーで使用できるVTTおよびSRTファイルを生成。
• 柔軟なデプロイ: CLIによるローカル実行、Google ColabでのクラウドGPU利用、またはJupyter環境内での実行が可能。
• Apple Silicon最適化: MLXをサポートし、Mac M1/M2/M3/M4チップ上でより高速な推論を実現。