agan-j/xiaoniu

小牛视频翻译 是一款支持本地视频翻译、字幕翻译和 YouTube 视频翻译下载的 AI 工具，集成自动语音识别与多语言翻译功能，助力创作者高效完成视频翻译，应用于视频本地化与视频出海场景。

What it solves

Xiaoniu AI Video Translation은 TikTok, YouTube, Douyin 등 플랫폼용 짧은 드라마와 홍보 영상을 제작하는 콘텐츠 크리에이터가 언어 장벽을 넘어 글로벌 배포를 할 수 있도록 돕기 위해 설계되었습니다. 음성 및 자막 번역을 자동화하면서 원본 오디오 분위기와 시각적 동기화를 유지함으로써 고품질 현지화 영상 제작 문제를 해결합니다.

How it works

이 도구는 다단계 AI 파이프라인을 사용해 비디오를 처리합니다:

  1. Translation Pipeline: 독자적인 "5단계 방법"(Core Understanding → Contextual Translation → Cultural Adjustment → Reflection/Adjustment → Final Proofreading)과 100만 개 비디오 자막으로 학습된 맞춤형 번역 모델을 활용해 자연스럽고 문맥에 맞는 번역을 보장합니다.
  2. Audio Processing: 보컬을 배경 음악과 분리하고, 원본 화자의 목소리를 클론(CosyVoice, IndexTTS, ElevenLabs 등 모델 사용)하여 목표 언어의 새로운 음성을 생성합니다.
  3. Visual Synchronization: 딥러닝을 이용해 생성된 오디오를 화자의 입 움직임에 맞추어 립싱크하고, 영상 프레임을 늦추지 않으면서 시각적 템포에 맞게 오디오 속도를 조정합니다.
  4. Subtitle Management: 자막을 자동으로 생성·번역하고, 텍스트와 음성을 실시간으로 수동 교정할 수 있는 Web UI를 제공합니다.

Who it’s for

  • Short Drama Creators: 국제 시장에 콘텐츠를 수출하고 정밀한 다중 캐릭터 음성 클로닝 및 립싱크가 필요한 제작자.
  • Enterprise Marketers: 글로벌 소셜 미디어 플랫폼에서 제품을 홍보하는 기업.
  • Video Editors: 자막 삭제, 보이스오버 생성, 고충실도 오디오 정화 도구가 필요한 사용자.

Highlights

  • High-Fidelity Voice Cloning: 고급 클로닝 모델(ElevenLabs, CosyVoice, IndexTTS)을 지원하며 감정 표현 및 다중 캐릭터 식별이 가능.
  • Lip-Sync Technology: 번역된 오디오를 입 움직임과 시각적 리듬에 정확히 동기화.
  • Proprietary Translation Model: 백만 개 자막으로 튜닝된 맞춤 모델로 직역을 피하고 문화적 뉘앙스를 처리.
  • Comprehensive Audio Tooling: 배경 음악 분리, 노이즈 감소, AI 기반 파형 지문 복구 포함.
  • Multi-Platform Support: 로컬 비디오와 YouTube 콘텐츠를 지원하며 세밀한 조정을 위한 Web UI 제공.
  • Cross-Platform Availability: Windows(CPU/GPU)와 Mac(Intel/M-series)에서 사용 가능.