heyncth/youtube-auto-dub

해결하는 문제

이 도구는 YouTube 동영상의 번역, 자막, 더빙 과정을 자동화합니다. 동영상 다운로드부터 번역된 오디오 및/또는 자막이 포함된 최종 파일 생성까지 전체 파이프라인을 로컬에서 처리합니다.

작동 방식

이 프로젝트는 7단계 자동화 파이프라인을 따릅니다: 동영상을 다운로드하고, Whisper를 사용하여 오디오를 전사하고, 텍스트를 자연스러운 세그먼트로 분할하고, Google 번역을 통해 텍스트를 번역하고, TTS 엔진(Edge 또는 Qwen)을 사용하여 음성을 생성하고, 오디오를 믹싱하고, 마지막으로 FFmpeg를 사용하여 출력을 렌더링합니다.

대상 사용자

YouTube 콘텐츠를 자동으로 현지화하려는 사용자로, Python 3.10+ 및 FFmpeg가 설치된 컴퓨터에 액세스할 수 있는 사용자를 위해 설계되었습니다. 다양한 음성, 언어 쌍 또는 음성 복제 기능을 실험하려는 사용자에게 특히 유용합니다.

주요 기능

• 자막 생성 및 전체 오디오 더빙을 모두 지원합니다.
• 자연스러운 음성을 위한 음성 복제 및 페르소나 옵션을 포함합니다.
• 재실행 시 중복 단계(다운로드 또는 전사 등)를 건너뛰는 스마트 캐싱 기능을 제공합니다.
• 최종 더빙에서 배경 음악을 보존할 수 있습니다.
• 브라우저 쿠키 통합을 통해 연령 제한 콘텐츠를 처리합니다.