Huanshere/VideoLingo

何を解決するか

VideoLingo は、動画の翻訳とダブリングの複雑なプロセスを簡素化します。YouTube からの動画ダウンロード、音声の文字起こし、AI を用いたテキスト翻訳、視聴者にとって読みやすいようにサブタイトルを分割、そしてダブリング音声の生成まで、すべてを1つのインターフェース内で自動化します。

動作方法

このツールは、専門的な AI モデルとサービスのパイプラインを使用しています：

• 文字起こし： WhisperX を使用して単語レベルの音声認識と同期を行います。
• 翻訳： OpenAI 互換 API を通じた LLM を活用し、カスタム用語とリフレクションプロセスを用いて自然な再構成を実現します。
• サブタイトル管理： NLP と AI ベースの分割技術により、サブタイトルが長さ制限に収まり、論理的に分割されるようにします。
• ダブリング： GPT-SoVITS、Azure、OpenAI、Edge TTS など、さまざまな Text-to-Speech (TTS) プロバイダーを統合し、オーディオを生成します。
• インターフェース： タスクの制御（一時停止／再開）やモデル選択が可能な Streamlit ベースの UI を提供します。

対象ユーザー

外国語の動画を自言語に高品質な字幕とオプションのダブリング音声で翻訳したいコンテンツクリエイターおよびユーザー。

特徴

• エンドツーエンドのワークフロー： YouTube のダウンロード、文字起こし、翻訳、ダブリングを1つのアプリで統合。
• AI ベースの分割： 時間ではなく、自然な意味単位に基づいてサブタイトルを分割。
• 用語制御： カスタム用語と AI 生成用語をサポートし、動画全体で一貫性を維持。
• 柔軟な TTS オプション： GPT-SoVITS などのローカルオプションからクラウド API まで、幅広いダブリングエンジンに対応。
• 進行状況の再開： 詳細なログにより、途中で中断したタスクを再開可能。