liuzhao1225/YouDub-webui

何を解決するか

YouDub WebUI は、YouTube や Bilibili などのプラットフォームから動画を自動的にターゲット言語にダブリング（吹き替え）し、同期された字幕を生成するオープンソースツールです。手動で音声を分離し、字幕を翻訳し、新しいボイスオーバーを録音する作業をすべて排除し、オリジナルの背景音楽や効果音を維持したまま、クリエイターが迅速に動画を異なる言語に変換できるようにします。

動作方法

このプロジェクトは完全なエンドツーエンドのパイプラインを実装しています：

1. ダウンロード：yt-dlp を使用して URL から動画を取得します。
2. 音声分離：Demucs を使ってボーカルを背景音から分離します。
3. 音声認識：openai-whisper を使用して発話内容を認識し、単語レベルのタイムスタンプを生成します。
4. 翻訳：OpenAI互換の Chat Completions API を通じてテキストを翻訳します。
5. 音声生成：VoxCPM2 を使用して、参照音声に基づいてターゲット言語の吹き替え音声を生成します。
6. 最終合成：新しいボイスオーバーの長さを調整し、オリジナルの背景音声とミックスし、FFmpeg を使って字幕を埋め込み、最終的な MP4 を出力します。

対象ユーザー

クロス言語コンテンツ配信のために、ローカルで制御可能な動画ローカリゼーションパイプラインを必要とする個人クリエイター、開発者、および小規模チーム向けに構築されています。

特徴

• エンドツーエンドの自動化：最初の URL から最終的なレンダリングされた動画までをすべて自動処理します。
• ローカル優先アーキテクチャ：すべての中間成果物、クッキー、ログを SQLite を通じてローカルに保存します。
• 失敗からの復旧：特定の段階で失敗したタスクを、その段階から再開できるようにサポートしています。
• クロスオーバー対応：特に英語→中国語（YouTube）および中国語→英語（Bilibili）のワークフローに最適化されています。
• カスタマイズ可能なパイプライン：モジュール構造により、ASR、TTS、翻訳バックエンドを簡単に交換できます。