Huanshere/VideoLingo

해결하는 문제

VideoLingo는 동영상 번역 및 더빙의 복잡한 과정을 자동화합니다. 수동으로 자막을 동기화하거나 오디오를 번역하고, 보이스오버를 생성할 필요 없이, 일관성과 타이밍을 유지하면서 한 언어의 동영상을 다른 언어로 변환할 수 있는 원스톱 파이프라인을 제공합니다.

작동 방식

이 프로젝트는 Streamlit 인터페이스에 통합된 다단계 AI 파이프라인을 사용합니다:

1. 음성 인식: yt-dlp를 통해 동영상을 다운로드하고, Qwen3-ASR 및 Qwen3-ForcedAligner를 사용하여 단어 수준의 음성 인식과 정렬을 수행합니다.
2. 번역: OpenAI 호환 API를 통해 LLM을 활용하여 텍스트를 번역하며, 사용자 정의 및 AI 생성 용어를 사용해 일관성을 유지합니다. 또한 자연스러운 재작성 및 반사 기반 품질 향상도 가능합니다.
3. 세그멘테이션: NLP와 AI를 활용해 가독성을 높이기 위해 설정 가능한 길이 제한 기반으로 자막을 세그먼트화합니다.
4. 더빙: GPT-SoVITS, OpenAI, Edge TTS, F5-TTS 등 다양한 TTS 제공업체를 사용하여 합성 음성을 생성해 더빙 오디오 트랙을 만듭니다.

대상 사용자

전문 스튜디오 소프트웨어나 수동 번역 서비스 없이 글로벌 대상에게 동영상 콘텐츠를 로컬라이즈하고자 하는 콘텐츠 크리에이터, 번역가 등 누구나 해당됩니다.

주요 특징

• 엔드투엔드 워크플로우: 다운로드, 음성 인식, 번역, 세그멘테이션, 더빙을 하나의 도구로 통합.
• 유연한 AI 백엔드: 여러 LLM 제공업체, ASR 엔진(Qwen3, ElevenLabs, MAI) 및 다양한 TTS 옵션을 지원.
• AI 기반의 일관성: 용어 관리 및 반사 기반 재작성을 통해 자연스럽고 문맥에 맞는 번역을 보장.
• 원클릭 설치: Windows용 원클릭 설치 프로그램과 Linux NVIDIA 환경용 Docker 지원 제공.