voice-pro: YouTube処理、音声クローニング、多言語翻訳のためのオールインワンAI吹き替えスタジオ

解決する課題

Voice-Proは、多言語コンテンツ作成の複雑なワークフローを簡素化するために設計されたオールインワンのマルチメディア処理ツールです。動画のダウンロード、音声の分離、音声の文字起こし、テキストの翻訳、そして新しいナレーションの生成といった、個別のツールを使い分ける手間を省きます。

仕組み

このアプリケーションは、いくつかの最先端AIモデルを統合したGradioベースのウェブインターフェースを提供します：

• Speech-to-Text (ASR): 高精度な文字起こしと字幕生成のために、Whisper、Faster-Whisper、およびWhisper-Timestampedを使用します。
• Text-to-Speech (TTS): 自然な音声の生成や特定の声のクローニングのために、Edge-TTS、kokoro、およびF5-TTS、E2-TTS、CosyVoiceのようなゼロショット・クローニングモデルを採用しています。
• Translation: 100以上の言語をサポートするために、Deep-Translator（およびオプションでAzure Translator）を統合しています。
• Audio Processing: 音声分離にはDemucsを、YouTubeコンテンツの抽出にはyt-dlpを使用します。

対象ユーザー

このツールは、主に動画の吹き替え、字幕作成、または音声クローンを使用したポッドキャスト制作を必要とするコンテンツクリエイター、ポッドキャスター、研究者、および多言語の専門家を対象としています。

ハイライト

• 完全な吹き替えパイプライン: YouTubeのダウンロード、ノイズ除去、文字起こし、翻訳、およびTTSを一つのスタジオに統合。
• Zero-Shot Voice Cloning: 大規模なトレーニングなしで、F5-TTS、E2-TTS、およびCosyVoiceを使用して音声をクローンする機能。
• Multilingual Support: 100以上の言語に対応する音声認識および翻訳機能。
• Real-Time Capabilities: 即時の音声認識とオンザフライの翻訳をサポート。
• User-Friendly Installation: NVIDIA GPUをサポートするWindows環境において、高速で再現可能なインストールを実現するためにuvを使用。