liuzhao1225/YouDub-webui

YouDub WebUI – 开源视频本地化工作台

它是什么

• 一个桌面风格的 Web 应用，允许您导入视频，自动转录语音、翻译，并生成带字幕的配音版本。它逐句工作，为每个翻译行克隆原始语音的时序。

主要功能

模式	输出
原始音频 + 字幕	保留原始音轨，并将翻译后的字幕烧录到视频上
仅配音	生成目标语言的配音（可选保留背景音乐）
配音 + 字幕	生成同时包含配音音频和翻译字幕的视频（可选强制对齐）

• 句子级语音克隆 – 每个翻译句子都使用源句子的精确音频片段作为参考进行合成，保留时序和韵律。
• 准确分段 – Whisper 提供词级时间戳；NLTK Punkt 将它们分组为自然句子。
• 字幕处理 – 按标点分割，合并非常短的片段，并隐藏尾部标点以便清晰显示。
• 任务管理器 – 显示视频封面、处理步骤、错误和最终资产；支持取消、重试、从特定步骤重新运行以及通过 API 下载。

架构

• 基于 Cordis，一个插件框架。整个技术栈 – 客户端 UI、认证、任务引擎、工作流、模型提供者和 Python 计算进程 – 都是可替换的插件。
• 工作流插件 声明操作序列（ASR → 翻译 → TTS → 对齐 → 混音）。
• 提供者插件 实现具体操作（例如，Whisper ASR、VoxCPM2 TTS、Qwen3 强制对齐器）。添加新模型只需一个遵循契约的插件。
• 繁重的媒体工作（FFmpeg、模型推理）在托管的 Python 子进程中运行，通过 stdio 通信。

快速开始（macOS / Linux，也适用于 Windows 和 CUDA）

1. 克隆并安装

   git clone --branch main --recurse-submodules https://github.com/liuzhao1225/YouDub-webui.git
   cd YouDub-webui
   npm ci               # 安装 Node 依赖
   npm --prefix apps/web ci
   

2. 创建配置

   cp .env.example .env
   ln .env env.txt   # 两个文件都会被读取，env.txt 被 Git 忽略
   

3. 首次运行 – 应用会自动下载默认模型（Whisper-tiny、VoxCPM2、Demucs、Qwen3-Aligner）并验证它们。
4. 启动服务

   npm run build:plugins   # 编译内置插件
   npm start               # 主机（后端 + 插件管理器）
   npm --prefix apps/web run dev -- --hostname 127.0.0.1 --port 3000   # 前端
   

5. 打开 http://127.0.0.1:3000，在设置中配置兼容 OpenAI 的翻译 API 密钥，然后导入视频并启动任务。

扩展平台

• 通过 npm run plugins CLI（本地文件夹、Git 仓库或 npm 包）安装、启用、禁用或移除插件。
• 创建 工作流插件 以定义新的处理流水线。
• 创建 提供者插件（JavaScript/TypeScript 或纯 Python）以接入不同的 ASR、翻译或 TTS 引擎。
• SDK（packages/sdk）包含共享类型和契约；它与仓库捆绑在一起，但尚未发布到 npm。

支持的格式和限制

• 视频：MP4、MOV、MKV、WEBM，最大 4 GiB、10 分钟、1920 像素、60 fps。
• 语言：开箱即用支持英语、中文、日语；其他语言取决于翻译/TTS 提供者。
• 硬件：检测 CUDA、Apple MPS、AMD ROCm，并支持 CPU 回退。

许可证和社区

• Apache 2.0 许可证。
• QQ 群 618246010 用于讨论和支持。
• 发布、问题跟踪和 PR 托管在 GitHub 上；AtomGit 上有中文镜像。

总结 YouDub WebUI 是一个完全开源、以插件为中心的解决方案，可将任何短视频转换为带有配音音频和字幕的本地化版本，利用最先进的开源模型（Whisper、VoxCPM2、Demucs、Qwen3），并提供清晰的路径来替换您自己的模型或服务。