Huanshere/VideoLingo

해결하는 문제

VideoLingo는 동영상 번역 및 더빙의 복잡한 과정을 단순화합니다. YouTube에서 동영상을 다운로드하고, 음성 인식을 통해 텍스트로 변환하며, AI를 활용한 번역, 가독성을 고려한 자막 분할, 그리고 더빙 오디오 생성까지 한 개의 인터페이스에서 자동화합니다.

작동 방식

이 도구는 전문적인 AI 모델과 서비스의 파이프라인을 사용합니다:

• 음성 인식: 단어 수준의 음성 인식과 정렬을 위해 WhisperX를 사용합니다.
• 번역: OpenAI 호환 API를 통해 LLM을 활용하여 사용자 정의 용어와 반사 프로세스를 적용해 자연스러운 재작성 가능합니다.
• 자막 관리: NLP와 AI 기반 분할 기술을 통해 자막이 길이 제한을 초과하지 않도록 하며 논리적으로 분할됩니다.
• 더빙: GPT-SoVITS, Azure, OpenAI, Edge TTS 등 다양한 Text-to-Speech (TTS) 제공업체를 통합하여 오디오를 생성합니다.
• 인터페이스: 작업 제어(일시정지/재개) 및 모델 선택이 가능한 Streamlit 기반 UI를 제공합니다.

대상 사용자

외국어 동영상을 자신의 언어로 고품질 자막과 선택적 더빙 오디오로 번역하고 싶은 콘텐츠 제작자 및 사용자.

주요 기능

• 엔드투엔드 워크플로우: YouTube 다운로드, 음성 인식, 번역, 더빙을 하나의 앱에서 통합.
• AI 기반 분할: 시간 기반이 아니라 자연스러운 의미 단위에 따라 자막을 분할.
• 용어 제어: 사용자 정의 및 AI 생성 용어를 지원하여 동영상 전체에서 일관성 유지.
• 유연한 TTS 옵션: GPT-SoVITS와 같은 로컬 옵션부터 클라우드 API까지 다양한 더빙 엔진 지원.
• 진행 상태 재개: 상세한 로깅을 통해 중단된 작업을 이어갈 수 있습니다.