liuzhao1225/YouDub-webui

YouDub WebUI – オープンソースのビデオローカライゼーションワークベンチ

概要

• デスクトップスタイルの Web アプリケーションで、ビデオをインポートし、音声を自動的に文字起こし、翻訳し、字幕付きの吹き替えバージョンを生成できます。文ごとに動作し、翻訳された各行の元の音声タイミングをクローンします。

主な機能

モード	出力
元の音声 + 字幕	ソースのサウンドトラックを保持し、翻訳された字幕をビデオに焼き付けます
吹き替えのみ	ターゲット言語でボイスオーバーを生成します（オプションで背景音楽を保持）
吹き替え + 字幕	吹き替え音声と翻訳字幕の両方を含むビデオを生成します（オプションで強制アライメント）

• 文レベルの音声クローン – 各翻訳文は、ソース文の正確な音声セグメントを参照として使用して合成され、タイミングと韻律を保持します。
• 正確なセグメンテーション – Whisper は単語レベルのタイムスタンプを提供します。NLTK Punkt はそれらを自然な文にグループ化します。
• 字幕処理 – 句読点で分割し、非常に短いフラグメントをマージし、末尾の句読点を非表示にしてクリーンに表示します。
• タスクマネージャー – ビデオカバー、処理ステップ、エラー、最終アセットを表示します。キャンセル、再試行、特定のステップからの再実行、API によるダウンロードをサポートします。

アーキテクチャ

• Cordis（プラグインベースのフレームワーク）に基づいています。クライアント UI、認証、タスクエンジン、ワークフロー、モデルプロバイダー、Python 計算プロセスなど、スタック全体が交換可能なプラグインです。
• ワークフロープラグイン は操作のシーケンス（ASR → 翻訳 → TTS → アライメント → ミックス）を宣言します。
• プロバイダープラグイン は具体的な操作を実装します（例：Whisper ASR、VoxCPM2 TTS、Qwen3 強制アライナー）。新しいモデルを追加するには、契約に従うプラグインが必要です。
• 重いメディア処理（FFmpeg、モデル推論）は、stdio で通信する管理された Python サブプロセスで実行されます。

はじめに（macOS / Linux、Windows と CUDA でも動作）

1. クローンしてインストール

   git clone --branch main --recurse-submodules https://github.com/liuzhao1225/YouDub-webui.git
   cd YouDub-webui
   npm ci               # Node 依存関係をインストール
   npm --prefix apps/web ci
   

2. 設定を作成

   cp .env.example .env
   ln .env env.txt   # 両方のファイルが読み取られ、env.txt は Git で無視されます
   

3. 初回実行 – アプリはデフォルトモデル（Whisper-tiny、VoxCPM2、Demucs、Qwen3-Aligner）を自動的にダウンロードして検証します。
4. サービスを開始

   npm run build:plugins   # 組み込みプラグインをコンパイル
   npm start               # ホスト（バックエンド + プラグインマネージャー）
   npm --prefix apps/web run dev -- --hostname 127.0.0.1 --port 3000   # フロントエンド
   

5. http://127.0.0.1:3000 を開き、設定で OpenAI 互換の翻訳 API キーを構成し、ビデオをインポートしてタスクを起動します。

プラットフォームの拡張

• npm run plugins CLI（ローカルフォルダー、Git リポジトリ、または npm パッケージ）を使用して、プラグインをインストール、有効化、無効化、または削除します。
• ワークフロープラグイン を作成して、新しい処理パイプラインを定義します。
• プロバイダープラグイン（JavaScript/TypeScript または純粋な Python）を作成して、別の ASR、翻訳、または TTS エンジンを接続します。
• SDK（packages/sdk）には共有タイプと契約が含まれています。リポジトリにバンドルされていますが、まだ npm に公開されていません。

サポートされる形式と制限

• ビデオ：MP4、MOV、MKV、WEBM、最大 4 GiB、10 分、1920 ピクセル、60 fps。
• 言語：英語、中国語、日本語がすぐに使用可能。追加言語は翻訳/TTS プロバイダーに依存します。
• ハードウェア：CUDA、Apple MPS、AMD ROCm を検出し、CPU フォールバックをサポート。

ライセンスとコミュニティ

• Apache 2.0 ライセンス。
• QQ グループ 618246010 で議論とサポート。
• リリース、問題追跡、PR は GitHub でホストされています。AtomGit に中国語ミラーがあります。

結論 YouDub WebUI は、最先端のオープンモデル（Whisper、VoxCPM2、Demucs、Qwen3）を活用し、独自のモデルやサービスを交換する明確なパスを提供する、あらゆるショートビデオを吹き替え音声と字幕付きのローカライズ版に変換するための完全にオープンソースでプラグイン中心のソリューションです。