voice-pro: YouTube処理、音声クローニング、および多言語翻訳のためのオールインワンAI吹き替えスタジオ

解決する課題

Voice-Proは、多言語コンテンツ作成の複雑なワークフローを簡素化するために設計された、オールインワンのマルチメディア処理ツールです。動画のダウンロード、音声の分離、音声の文字起こし、テキストの翻訳、そして新しいナレーションの生成といった、個別のツールを使い分ける手間を解消します。

仕組み

このアプリケーションは、Gradioベースのウェブインターフェースを提供し、いくつかの最先端のAIモデルを統合しています：

• Speech-to-Text (ASR): 高精度な文字起こしと字幕生成のために、Whisper、Faster-Whisper、および Whisper-Timestamped を使用します。
• Text-to-Speech (TTS): 自然な音声の生成や特定の声のクローニングのために、Edge-TTS、kokoro、および F5-TTS、E2-TTS、CosyVoice といったゼロショット・クローニングモデルを採用しています。
• Translation: 100以上の言語をサポートするために、Deep-Translator（およびオプションで Azure Translator）を統合しています。
• Audio Processing: 音声分離には Demucs を、YouTubeコンテンツの抽出には yt-dlp を使用します。

対象ユーザー

このツールは、主に動画の吹き替え、字幕作成、または音声クローンを使用したポッドキャスト制作を必要とするコンテンツクリエイター、ポッドキャスター、研究者、および多言語の専門家を対象としています。

ハイライト

• 完全な吹き替えパイプライン: YouTubeのダウンロード、ノイズ除去、文字起こし、翻訳、および TTS を一つのスタジオに統合。
• Zero-Shot Voice Cloning: 大規模な学習なしに、F5-TTS、E2-TTS、および CosyVoice を使用して音声をクローニングする機能。
• 多言語サポート: 100以上の言語に対する音声認識および翻訳機能。
• リアルタイム機能: 即時の音声認識とオンザフライの翻訳をサポート。
• ユーザーフレンドリーなインストール: NVIDIA GPUをサポートするWindows環境において、高速で再現可能なインストールを実現するために uv を使用。