voice-pro: YouTube 처리, 음성 복제 및 다국어 번역을 위한 올인원 AI 더빙 스튜디오

해결하는 문제

Voice-Pro는 다국어 콘텐츠 제작의 복잡한 워크플로우를 단순화하기 위해 설계된 올인원 멀티미디어 처리 도구입니다. 비디오 다운로드, 오디오 분리, 음성 전사, 텍스트 번역 및 새로운 보이스오버 생성 작업을 위해 별도의 도구들을 번갈아 사용할 필요가 없습니다.

작동 방식

이 애플리케이션은 다음과 같은 여러 최첨단 AI 모델을 통합한 Gradio 기반 웹 인터페이스를 제공합니다:

• Speech-to-Text (ASR): 고정밀 전사 및 자막 생성을 위해 Whisper, Faster-Whisper, Whisper-Timestamped를 사용합니다.
• Text-to-Speech (TTS): 자연스러운 음성을 생성하거나 특정 목소리를 복제하기 위해 Edge-TTS, kokoro, 그리고 F5-TTS, E2-TTS, CosyVoice와 같은 zero-shot cloning 모델을 사용합니다.
• Translation: 100개 이상의 언어를 지원하기 위해 Deep-Translator(및 선택적으로 Azure Translator)를 통합합니다.
• Audio Processing: 음성 분리를 위해 Demucs를, YouTube 콘텐츠 추출을 위해 yt-dlp를 사용합니다.

대상 사용자

이 도구는 주로 비디오 더빙, 자막 생성 또는 음성 복제 팟캐스트 제작이 필요한 콘텐츠 크리에이터, 팟캐스터, 연구원 및 다국어 전문가를 대상으로 합니다.

주요 특징

• 완전한 더빙 파이프라인: YouTube 다운로드, 노이즈 제거, 전사, 번역 및 TTS가 하나의 스튜디오에 통합되었습니다.
• Zero-Shot 음성 복제: 광범위한 학습 없이 F5-TTS, E2-TTS, CosyVoice를 사용하여 목소리를 복제할 수 있는 기능입니다.
• 다국어 지원: 100개 이상의 언어에 대한 음성 인식 및 번역 기능을 제공합니다.
• 실시간 기능: 즉각적인 음성 인식 및 실시간 번역을 지원합니다.
• 사용자 친화적 설치: NVIDIA GPU 지원이 포함된 Windows 환경에서 uv를 사용하여 빠르고 재현 가능한 설치를 제공합니다.