zcbacxc/movie-narrator

해결하는 문제

Movie Narrator는 영화 리캡 비디오 제작을 자동화합니다. 수동으로 스크립트를 작성하고, 음성 녹음하고, 자막을 생성하며, 클립을 편집하는 번거로움을 제거하여, 단일 프롬프트로 완전히 내레이션된 비디오를 생성할 수 있게 해줍니다.

작동 방식

이 프로젝트는 영화 제목을 완성된 비디오로 변환하는 16단계 순차적 파이프라인을 사용합니다:

1. 콘텐츠 생성: TMDB를 통해 플롯을 조사하고, 선택한 시점(예: 전지적 시점 또는 탐정 시점)에 따라 리캡 스크립트를 작성하기 위해 LLM을 사용합니다.
2. 오디오 및 자막: 기본적으로 Edge-TTS를 사용해 스크립트를 음성으로 변환하고, 동기화된 SRT 자막을 생성하며, 여러 언어로 번역할 수 있습니다.
3. 시각적 조립: 소스 비디오에서 장면을 감지하고, 스크립트 세그먼트와 매칭하며, 배경 음악을 통합합니다.
4. 렌더링: 최종 자산을 1080p 또는 4K 비디오로 다양한 형식(예: 16:9 또는 9:16)으로 렌더링합니다.

대상 사용자

소셜 미디어나 YouTube, TikTok과 같은 플랫폼용 영화 리캡 비디오를 제작하는 콘텐츠 크리에이터, 그리고 자동화된 비디오 내레이션용 확장 가능한 프레임워크를 찾는 개발자에게 적합합니다.

주요 기능

• 다중 후보 '경주': 여러 스크립트 변형을 생성하고 자동으로 최적의 하나를 선택합니다.
• 참고 스타일 모방: 인기 있는 참조 비디오에서 내레이션 스타일을 추출해 새로운 영화에 적용할 수 있습니다.
• VLM 통합: 클라우드 API를 통해 비전-언어 모델(VLM)을 사용해 장면 캡션을 생성합니다.
• 유연한 인프라: 다양한 OpenAI 호환 LLM(Ollama, Zhipu 등)과 여러 TTS 제공업체를 지원합니다.
• 품질 보증 게이트: 최종 출력물에서 검은 프레임이나 슬라이드쇼처럼 보일 위험을 자동으로 감지합니다.