liuzhao1225/YouDub-webui

YouDub WebUI – 오픈 소스 비디오 현지화 워크벤치

정의

• 데스크톱 스타일 웹 애플리케이션으로, 비디오를 가져와 음성을 자동으로 전사하고, 번역하고, 자막이 있는 더빙 버전을 생성할 수 있습니다. 문장 단위로 작동하며, 각 번역된 줄에 대해 원래 음성 타이밍을 복제합니다.

주요 기능

모드	출력
원본 오디오 + 자막	소스 사운드트랙을 유지하고 번역된 자막을 비디오에 굽습니다
더빙만	대상 언어로 음성 해설을 생성합니다(선택적으로 배경 음악 유지)
더빙 + 자막	더빙 오디오와 번역된 자막을 모두 포함하는 비디오를 생성합니다(선택적 강제 정렬)

• 문장 수준 음성 복제 – 각 번역된 문장은 소스 문장의 정확한 오디오 세그먼트를 참조로 사용하여 합성되어 타이밍과 운율을 보존합니다.
• 정확한 분할 – Whisper는 단어 수준 타임스탬프를 제공합니다. NLTK Punkt는 이를 자연스러운 문장으로 그룹화합니다.
• 자막 처리 – 구두점에서 분할하고, 매우 짧은 조각을 병합하며, 깨끗한 표시를 위해 끝 구두점을 숨깁니다.
• 작업 관리자 – 비디오 커버, 처리 단계, 오류 및 최종 자산을 표시합니다. 취소, 재시도, 특정 단계에서 다시 실행, API를 통한 다운로드를 지원합니다.

아키텍처

• Cordis(플러그인 기반 프레임워크)를 기반으로 구축되었습니다. 클라이언트 UI, 인증, 작업 엔진, 워크플로우, 모델 제공자 및 Python 계산 프로세스 등 전체 스택은 교체 가능한 플러그인입니다.
• 워크플로우 플러그인은 작업 순서(ASR → 번역 → TTS → 정렬 → 믹스)를 선언합니다.
• 제공자 플러그인은 구체적인 작업을 구현합니다(예: Whisper ASR, VoxCPM2 TTS, Qwen3 강제 정렬기). 새 모델을 추가하려면 계약을 따르는 플러그인만 필요합니다.
• 무거운 미디어 작업(FFmpeg, 모델 추론)은 stdio를 통해 통신하는 관리되는 Python 하위 프로세스에서 실행됩니다.

시작하기(macOS / Linux, Windows 및 CUDA에서도 작동)

1. 클론 및 설치

   git clone --branch main --recurse-submodules https://github.com/liuzhao1225/YouDub-webui.git
   cd YouDub-webui
   npm ci               # Node 종속성 설치
   npm --prefix apps/web ci
   

2. 구성 파일 생성

   cp .env.example .env
   ln .env env.txt   # 두 파일 모두 읽히며, env.txt는 Git에서 무시됩니다
   

3. 첫 실행 – 앱이 기본 모델(Whisper-tiny, VoxCPM2, Demucs, Qwen3-Aligner)을 자동으로 다운로드하고 검증합니다.
4. 서비스 시작

   npm run build:plugins   # 내장 플러그인 컴파일
   npm start               # 호스트(백엔드 + 플러그인 관리자)
   npm --prefix apps/web run dev -- --hostname 127.0.0.1 --port 3000   # 프런트엔드
   

5. http://127.0.0.1:3000을 열고 설정에서 OpenAI 호환 번역 API 키를 구성한 다음 비디오를 가져와 작업을 시작합니다.

플랫폼 확장

• npm run plugins CLI(로컬 폴더, Git 저장소 또는 npm 패키지)를 통해 플러그인을 설치, 활성화, 비활성화 또는 제거합니다.
• 워크플로우 플러그인을 만들어 새 처리 파이프라인을 정의합니다.
• 제공자 플러그인(JavaScript/TypeScript 또는 순수 Python)을 만들어 다른 ASR, 번역 또는 TTS 엔진을 연결합니다.
• SDK(packages/sdk)에는 공유 유형과 계약이 포함되어 있습니다. 저장소에 번들로 제공되지만 아직 npm에 게시되지 않았습니다.

지원 형식 및 제한 사항

• 비디오: MP4, MOV, MKV, WEBM, 최대 4GiB, 10분, 1920px, 60fps.
• 언어: 영어, 중국어, 일본어가 기본 제공됩니다. 추가 언어는 번역/TTS 제공자에 따라 다릅니다.
• 하드웨어: CUDA, Apple MPS, AMD ROCm을 감지하고 CPU 폴백을 지원합니다.

라이선스 및 커뮤니티

• Apache 2.0 라이선스.
• QQ 그룹 618246010에서 토론 및 지원.
• 릴리스, 이슈 추적 및 PR은 GitHub에서 호스팅됩니다. AtomGit에 중국어 미러가 있습니다.

결론 YouDub WebUI는 최첨단 오픈 모델(Whisper, VoxCPM2, Demucs, Qwen3)을 활용하고 자체 모델이나 서비스를 교체할 수 있는 명확한 경로를 제공하는, 모든 짧은 비디오를 더빙 오디오와 자막이 있는 현지화 버전으로 변환하기 위한 완전한 오픈 소스, 플러그인 중심 솔루션입니다.