heyncth/youtube-auto-dub

解決する問題

このツールは、YouTube動画の翻訳、字幕付け、吹き替えのプロセスを自動化します。動画のダウンロードから、翻訳された音声や字幕を含む最終ファイルの生成まで、パイプライン全体をローカルで処理します。

仕組み

このプロジェクトは7段階の自動化パイプラインに従います。動画をダウンロードし、Whisperを使用して音声を文字起こしし、テキストを自然なセグメントに分割し、Google翻訳でテキストを翻訳し、TTSエンジン（EdgeまたはQwen）を使用して音声を生成し、音声をミックスし、最後にFFmpegを使用して出力をレンダリングします。

対象ユーザー

YouTubeコンテンツを自動的にローカライズしたい方で、Python 3.10+とFFmpegがインストールされたコンピュータにアクセスできる方を対象としています。さまざまな声、言語ペア、または音声クローン機能を試したい方に特に役立ちます。

ハイライト

• 字幕生成と完全な音声吹き替えの両方をサポート。
• 自然な音声のための音声クローンとペルソナオプションを搭載。
• 再実行時に冗長なステップ（ダウンロードや文字起こしなど）をスキップするスマートキャッシュ機能。
• 最終的な吹き替えで背景音楽を保持できます。
• ブラウザのCookie統合により年齢制限のあるコンテンツを処理。