agan-j/xiaoniu

小牛视频翻译 是一款支持本地视频翻译、字幕翻译和 YouTube 视频翻译下载的 AI 工具，集成自动语音识别与多语言翻译功能，助力创作者高效完成视频翻译，应用于视频本地化与视频出海场景。

What it solves

Xiaoniu AI Video Translation 是為了協助內容創作者，特別是製作 TikTok、YouTube、抖音等平台短劇與宣傳影片的創作者，克服語言障礙以進行全球發佈而設計。它透過自動翻譯語音與字幕，同時保留原始音訊氛圍與視覺同步，解決了製作高品質本地化影片的問題。

How it works

此工具使用多階段 AI 流程處理影片：

  1. Translation Pipeline: 採用專有的「5 步驟方法」(Core Understanding → Contextual Translation → Cultural Adjustment → Reflection/Adjustment → Final Proofreading) 以及基於 100 萬段影片字幕訓練的自訂翻譯模型，確保翻譯自然且具情境感。
  2. Audio Processing: 將人聲與背景音樂分離，克隆原說話者的聲音（使用 CosyVoice、IndexTTS、ElevenLabs 等模型），並產生目標語言的新語音。
  3. Visual Synchronization: 透過深度學習將產生的音訊與說話者的唇部動作對齊（唇形同步），並調整音頻速率以匹配視覺節奏，且不會降低影片畫格速度。
  4. Subtitle Management: 自動產生與翻譯字幕，提供 Web UI 讓使用者即時手動校正文字與語音。

Who it’s for

  • Short Drama Creators: 需要將內容輸出至國際市場，且需精準的多角色聲音克隆與唇形同步。
  • Enterprise Marketers: 在全球社群媒體平台上推廣產品的企業。
  • Video Editors: 需要字幕抹除、配音產生與高保真音訊淨化工具的使用者。

Highlights

  • High-Fidelity Voice Cloning: 支援先進的克隆模型（ElevenLabs、CosyVoice、IndexTTS），具情感表達與多角色辨識。
  • Lip-Sync Technology: 精準同步翻譯後的音訊與口型動作及視覺節奏。
  • Proprietary Translation Model: 以百萬字幕訓練的客製化模型，避免直譯並處理文化差異。
  • Comprehensive Audio Tooling: 包含背景音樂分離、降噪與 AI 驅動的波形指紋修復。
  • Multi-Platform Support: 支援本機影片與 YouTube 內容，提供 Web UI 進行微調。
  • Cross-Platform Availability: 可於 Windows（CPU/GPU）與 Mac（Intel/M-series）上使用。