agan-j/xiaoniu

它解决了什么问题

Xiaoniu AI Video Translation 旨在帮助内容创作者（特别是为 TikTok、YouTube 和抖音等平台制作短剧和宣传视频的创作者）克服语言障碍，实现全球化分发。它解决了繁琐的人工翻译、不自然的配音以及翻译后的音频与视频原始口型不同步的问题。

工作原理

该工具采用多步骤 AI 流水线将视频转换为多种语言：

1. 翻译流水线： 它使用在 100 万条视频字幕上训练的专有翻译模型，利用“5 步法”（核心理解 $\rightarrow$ 上下文翻译 $\rightarrow$ 文化调整 $\rightarrow$ 反思/调整 $\rightarrow$ 最终校对）来确保表达自然且符合文化习惯。
2. 音频处理： 系统将人声与背景音乐分离，克隆原始说话者的声音（使用 CosyVoice、IndexTTS 和 ElevenLabs 等模型），并生成保留原始情感和语调的翻译音频。
3. 视觉对齐： 它使用深度学习将新生成的音频与说话者的口型和整体视频节奏同步，防止自动配音中常见的“慢动作”效果。
4. 编辑界面： Web UI 允许创作者在观看视频的同时实时手动优化字幕和音频。

适用人群

• 短剧创作者： 需要将内容出口到国际市场，且需要为多个角色提供高保真声音克隆和口型同步的创作者。
• 企业营销人员： 在全球社交媒体平台上推广产品的企业。
• 视频内容创作者： 需要将 YouTube 视频或本地文件翻译成多种语言并进行专业级配音的用户。

亮点

• 高保真声音克隆： 支持情感克隆和多角色识别（最多 100 个角色），以在复杂场景中保持独特的嗓音。
• 口型同步技术： 自动调整音频速度和视觉帧，确保翻译后的语音与口型动作匹配。
• 高级音频分离： 去除背景噪音并将人声与音乐分离，允许将翻译后的语音叠加在原始背景音乐上。
• 广泛的语言支持： 翻译并配音成数十种语言，包括英语、日语、法语、韩语、西班牙语、葡萄牙语、俄语、阿拉伯语等。
• 集成 LLM 支持： 兼容 Gemini、DeepSeek 和 GPT 引擎，实现高精度的语义翻译。