bakrianoo/mazinger

解决的问题

Mazinger Dubber 提供了一个将视频配音为不同语言的端到端流水线。它自动化了下载视频、转录语音、翻译文本、克隆原始说话者声音（或使用预设声音），以及生成最终配音视频或音频文件的复杂过程，同时保持与原始时间轴的同步。

运作方式

该系统串联了十个可恢复的阶段：下载 (Download)、转录 (Transcribe)、缩略图 (Thumbnails)、描述 (Describe)、审阅 (Review)、翻译 (Translate)、重新分段 (Re-segment)、语音合成 (Speak)、组装 (Assemble) 和字幕 (Subtitle)。它在人声轨道（通过 Demucs 分离）上使用语音活动检测来建立语音映射，确保配音台词的起止点与原始语音完全一致。该流水线支持多种转录 (CohereX, Faster Whisper, Deepgram) 和 TTS (Qwen3-TTS, OmniVoice) 后端，并包含一个名为 Mazinger Studio 的基于 Gradio 的网页界面，用于可视化管理和片段级编辑。

适用对象

需要本地化视频内容，且希望在不手动管理多个独立 AI 工具的情况下，实现高保真语音克隆与精确时间控制的内容创作者、翻译人员和开发者。

特色亮点

• 一键式工作流程：通过单一指令或网页界面处理从视频下载到最终组装的所有步骤。
• 语音克隆：可自动从原始视频克隆说话者的声音，或使用预定义的语音主题与配置文件。
• 精确同步：将配音音频同步至原始语音区间而非仅仅是字幕槽，保留原始背景音乐与音效。
• 片段级编辑器：允许用户手动修正特定片段的转录、翻译或时间轴，并仅重新配音修改过的部分。
• 灵活的后端：支持通过 Ollama 使用本地 LLM，并支持多种转录引擎，以平衡隐私、成本与 GPU 资源。