liuzhao1225/YouDub-webui

解決的問題

YouDub WebUI 是一個開源工具，旨在自動化從 YouTube 和 Bilibili 等平台取得影片的本地化處理。它消除了手動分離音訊、翻譯字幕和錄製新配音的工作，讓創作者能在保留原始背景音樂與音效的同時，快速將影片轉換為不同語言。

工作原理

本專案實作了一個完整的端對端流程：

1. 下載：使用 yt-dlp 從 URL 取得影片。
2. 音訊分離：使用 Demucs 將人聲從背景噪音中分離。
3. 語音辨識：使用 openai-whisper 識別語音並生成單字級時間戳。
4. 翻譯：透過 OpenAI 相容的 Chat Completions API 進行文字翻譯。
5. 語音生成：使用 VoxCPM2 基於參考音訊生成目標語言的配音。
6. 最終合成：對新配音時長進行對齊，與原始背景音訊混合，並使用 FFmpeg 嵌入字幕並導出最終 MP4 檔案。

適用對象

專為希望擁有本地可控影片本地化流程的個人內容創作者、開發者與小型團隊設計，適用於跨語言內容分發場景。

核心亮點

• 端對端自動化：從初始 URL 到最終渲染影片，全流程自動處理。
• 本地優先架構：所有中間產物、Cookie 與日誌皆透過 SQLite 本地儲存。
• 失敗復原支援：支援從任務失敗的特定階段重新開始。
• 跨語言支援：特別優化了英語→中文（YouTube）與中文→英語（Bilibili）的工作流程。
• 可自訂流程：模組化架構允許使用者輕鬆替換 ASR、TTS 或翻譯後端。