bakrianoo/mazinger

해결하는 문제

Mazinger Dubber는 영상을 다양한 언어로 더빙하기 위한 엔드투엔드 파이프라인을 제공합니다. 영상 다운로드, 음성 전사, 텍스트 번역, 원본 화자의 음성 복제(또는 사전 설정 사용), 그리고 원본 타이밍과 동기화된 최종 더빙 영상이나 오디오 파일 생성까지의 복잡한 과정을 자동화합니다.

작동 방식

이 시스템은 다운로드, 전사, 썸네일, 설명, 검토, 번역, 재세그먼트, 음성 합성, 조립, 자막 생성이라는 10개의 재개 가능한 단계를 연결합니다. Demucs로 분리된 보컬 트랙에서 음성 활동 감지(VAD)를 사용하여 음성 맵을 생성함으로써, 더빙된 대사가 원본 음성과 정확히 일치하는 지점에서 시작하고 끝나도록 보장합니다. 이 파이프라인은 다양한 전사(CohereX, Faster Whisper, Deepgram) 및 TTS(Qwen3-TTS, OmniVoice) 백엔드를 지원하며, 시각적 관리와 청크 단위 편집을 위한 Gradio 기반 웹 UI인 Mazinger Studio를 포함합니다.

대상 사용자

여러 AI 도구를 수동으로 관리할 필요 없이, 고품질 음성 복제와 정확한 타이밍으로 영상 콘텐츠를 현지화하려는 콘텐츠 제작자, 번역가 및 개발자.

주요 특징

• 원커맨드 워크플로우: 영상 다운로드부터 최종 조립까지 단일 명령어 또는 웹 UI를 통해 모든 과정을 처리합니다.
• 음성 복제: 원본 영상에서 화자의 목소리를 자동으로 복제하거나, 미리 정의된 음성 테마 및 프로필을 사용할 수 있습니다.
• 정밀한 동기화: 자막 슬롯뿐만 아니라 원본 음성 구간에 맞춰 더빙 오디오를 동기화하므로 원본 배경 음악과 효과음을 그대로 유지합니다.
• 청크 단위 에디터: 특정 세그먼트의 전사, 번역 또는 타이밍을 수동으로 수정하고 변경된 부분만 다시 더빙할 수 있습니다.
• 유연한 백엔드: Ollama를 통한 로컬 LLM 및 다수의 전사 엔진을 지원하여 개인정보 보호, 비용, GPU 가용성 간의 균형을 맞출 수 있습니다.