Huanshere/VideoLingo

何を解決するか

VideoLingo は、動画の翻訳とダブリングの複雑なプロセスを自動化します。手動で字幕を同期させたり、音声を翻訳したり、ボイスオーバーを生成したりする必要がなく、一連のスムーズなパイプラインにより、動画をある言語から別の言語に変換しながら、一貫性とタイミングを維持できます。

動作方法

このプロジェクトは、Streamlit インターフェースに統合されたマルチステージ AI パイプラインを使用しています：

1. 音声認識：yt-dlp を介して動画をダウンロードし、Qwen3-ASR および Qwen3-ForcedAligner を使用して単語レベルの音声認識と同期処理を行います。
2. 翻訳：OpenAI 互換 API を通じて LLM を活用し、カスタムおよび AI 生成の用語を用いて一貫性を確保した翻訳を実行します。また、自然な再構成やリフレクションによる品質向上も可能です。
3. セグメンテーション：NLP と AI を活用して、読みやすさを高めるために、設定可能な長さ制限に基づいて字幕をセグメント化します。
4. ダブリング：GPT-SoVITS、OpenAI、Edge TTS、F5-TTS などのさまざまな TTS プロバイダーを使用して合成音声を生成し、ダブリング用のオーディオトラックを作成します。

対象ユーザー

プロフェッショナルなスタジオソフトウェアや手動の字幕作成サービスを必要とせずに、グローバルな視聴者向けに動画コンテンツをローカライズしたいコンテンツクリエイター、翻訳者など。

主な特徴

• エンドツーエンドのワークフロー：ダウンロード、音声認識、翻訳、セグメンテーション、ダブリングを1つのツールで統合。
• 柔軟な AI バックエンド：複数の LLM プロバイダー、ASR エンジン（Qwen3、ElevenLabs、MAI）および幅広い TTS オプションをサポート。
• AI駆動の一貫性：用語管理とリフレクションベースの再構成により、自然で文脈的に正確な翻訳を実現。
• ワンクリックセットアップ：Windows 用のワンクリックインストーラーと、Linux NVIDIA 環境向けの Docker 対応を提供。