liuzhao1225/YouDub-webui

해결하는 문제

YouDub WebUI는 YouTube 및 Bilibili와 같은 플랫폼의 동영상을 자동으로 타겟 언어로 더빙하고 동기화된 자막을 생성하는 오픈소스 도구입니다. 오디오 분리, 자막 번역, 새로운 음성 녹음과 같은 수작업을 제거하여 크리에이터가 원본 배경 음악과 사운드 효과를 유지한 채 동영상을 빠르게 다른 언어로 변환할 수 있도록 합니다.

작동 방식

이 프로젝트는 완전한 엔드투엔드 파이프라인을 구현합니다:

1. 다운로드: yt-dlp를 사용하여 URL에서 동영상을 가져옵니다.
2. 오디오 분리: Demucs를 사용해 보컬을 배경 소음에서 분리합니다.
3. 음성 인식: openai-whisper를 사용해 발화를 식별하고 단어 수준의 타임스탬프를 생성합니다.
4. 번역: OpenAI 호환 Chat Completions API를 통해 텍스트를 번역합니다.
5. 음성 생성: VoxCPM2를 사용해 참조 오디오를 기반으로 타겟 언어의 더빙 음성을 생성합니다.
6. 최종 조합: 새로운 음성 오버레이 길이를 조정하고 원본 배경 오디오와 믹스한 후, FFmpeg를 사용해 자막을 삽입하고 최종 MP4를 내보냅니다.

대상 사용자

다국어 콘텐츠 배포를 위해 로컬에서 제어 가능한 동영상 로컬라이제이션 파이프라인을 원하는 개인 크리에이터, 개발자, 소규모 팀을 위한 도구입니다.

주요 특징

• 엔드투엔드 자동화: 초기 URL부터 최종 렌더링된 동영상까지 모든 과정을 자동 처리합니다.
• 로컬 우선 접근 방식: SQLite를 통해 모든 중간 결과물, 쿠키, 로그를 로컬에 저장합니다.
• 실패 복구 지원: 특정 단계에서 실패한 작업을 그 단계에서 다시 시작할 수 있습니다.
• 크로스오버 지원: 특히 영어 → 중국어 (YouTube) 및 중국어 → 영어 (Bilibili) 워크플로우에 최적화되어 있습니다.
• 사용자 정의 가능한 파이프라인: 모듈식 아키텍처로 ASR, TTS 또는 번역 백엔드를 쉽게 교체할 수 있습니다.