jianchang512/pyvideotrans

해결하는 문제

이 도구는 비디오를 한 언어에서 다른 언어로 번역하는 복잡한 프로세스를 자동화합니다. 수동으로 전사, 번역 및 오디오를 재녹음하는 대신, 이 도구는 음성 인식, 자막 번역 및 AI 더빙을 처리하면서 오디오와 비디오를 동기화하는 통합 워크플로우를 제공합니다.

작동 방식

이 프로젝트는 다단계 파이프라인을 구현합니다:

1. 음성 인식 (ASR): Faster-Whisper 또는 다양한 클라우드 API와 같은 모델을 사용하여 음성 오디오를 텍스트 자막으로 변환합니다.
2. 자막 번역: LLM(DeepSeek, ChatGPT 또는 로컬 Ollama 모델 등)을 사용하여 텍스트를 대상 언어로 번역합니다.
3. 음성 합성 (TTS): 대상 언어로 새로운 오디오를 생성하며, 멀티 역할 할당 및 보이스 클로닝(F5-TTS, CosyVoice 등 사용)을 지원합니다.
4. 비디오 합성: 새로운 오디오와 번역된 자막을 원래 비디오에 다시 병합합니다.

대상 사용자

콘텐츠 크리에이터, 개발자 및 비디오 콘텐츠를 효율적으로 현지화해야 하는 모든 사람을 위해 설계되었습니다. 단순한 Windows 실행 파일, 서버용 명령줄 인터페이스 또는 웹 기반 UI 중 원하는 방식을 선택할 수 있습니다.

주요 특징

• 엔드 투 엔드 자동화: 원본 비디오에서 번역된 더빙 비디오까지 원클릭 워크플로우.
• 보이스 클로닝: 제로샷 보이스 클로닝을 위한 고급 TTS 모델과의 통합.
• 화자 분리 (Speaker Diarization): 서로 다른 화자를 구분하여 각 역할에 고유한 AI 음성을 할당하는 기능.
• 유연한 배포: 로컬 오프라인 실행, 클라우드 API, Docker 및 사전 패키지된 Windows .exe를 지원합니다.
• 대화형 편집: 인식, 번역 및 더빙 단계에서 사용자가 수동으로 텍스트를 교정하고 편집할 수 있습니다.