agan-j/xiaoniu

小牛视频翻译 是一款支持本地视频翻译、字幕翻译和 YouTube 视频翻译下载的 AI 工具，集成自动语音识别与多语言翻译功能，助力创作者高效完成视频翻译，应用于视频本地化与视频出海场景。

What it solves

Xiaoniu AI Video Translation は、TikTok、YouTube、Douyin などのプラットフォーム向けに短編ドラマやプロモーション動画を制作するコンテンツクリエイターが、言語の壁を越えてグローバルに配信できるよう支援するために設計されています。音声と字幕の翻訳を自動化し、元の音声雰囲気と映像の同期を保つことで、高品質なローカライズ版動画の作成課題を解決します。

How it works

このツールはマルチステージ AI パイプラインで動画を処理します：

  1. Translation Pipeline: 独自の「5 ステップメソッド」(Core Understanding → Contextual Translation → Cultural Adjustment → Reflection/Adjustment → Final Proofreading) と、100 万件の動画字幕で学習させたカスタム翻訳モデルを使用し、自然で文脈に合わせた翻訳を実現します。
  2. Audio Processing: ボーカルとバックグラウンドミュージックを分離し、元スピーカーの声をクローン（CosyVoice、IndexTTS、ElevenLabs などのモデル使用）し、ターゲット言語で新しい音声を生成します。
  3. Visual Synchronization: ディープラーニングで生成音声を話者の口の動きに合わせてリップシンクし、映像のリズムに合わせて音声速度を調整します（動画フレームを遅くしません）。
  4. Subtitle Management: 字幕を自動生成・翻訳し、テキストと音声をリアルタイムで手動修正できる Web UI を提供します。

Who it’s for

  • Short Drama Creators: 国際市場へコンテンツを輸出し、正確なマルチキャラクター音声クローンとリップシンクが必要な方。
  • Enterprise Marketers: グローバルなソーシャルメディアで製品を宣伝する企業。
  • Video Editors: 字幕除去、ボイスオーバー生成、高忠実度音声浄化ツールを求めるユーザー。

Highlights

  • High-Fidelity Voice Cloning: 高度なクローンモデル（ElevenLabs、CosyVoice、IndexTTS）に対応し、感情表現とマルチキャラクター識別が可能。
  • Lip-Sync Technology: 翻訳音声を口の動きと映像リズムに正確に同期。
  • Proprietary Translation Model: 百万字幕でチューニングしたカスタムモデルで、直訳を避け文化的ニュアンスに対応。
  • Comprehensive Audio Tooling: バックグラウンドミュージック分離、ノイズ除去、AI 駆動の波形指紋修復を含む。
  • Multi-Platform Support: ローカル動画と YouTube コンテンツに対応し、微調整用の Web UI を提供。
  • Cross-Platform Availability: Windows（CPU/GPU）および Mac（Intel/M-series）で利用可能。