Anil-matcha/Open-AI-Micro-Drama-Generator

해결하는 문제

MicroDrama AI는 AI 영상 제작의 분산된 성격을 해결합니다. 전통적으로 짧은 영화를 만들기 위해서는 스크립트 작성, 이미지 생성, 영상 제작을 위한 별도의 도구를 오가야 하며, 이로 인해 서사 구조가 부족하거나 다양한 장면 간에 캐릭터의 외모가 일관되지 않는 경우가 많습니다.

작동 방식

이 프로젝트는 MuAPI로 구동되는 에이전트 기반 파이프라인을 사용하여 전체 제작 프로세스를 자동화합니다. 두 가지 모드로 작동합니다: "아이디어에서 영상"(전체 파이프라인)과 "스크립트에서 영상"(작성 단계 생략).

1. 내용 기획: 스크립트라이터 에이전트가 스토리를 개발하고 장면 스크립트를 작성하며, 캐릭터 추출 에이전트가 캐릭터의 시각적 특징을 정의합니다.
2. 시각적 디자인: 스토리보드 아티스트 에이전트가 장면별 설명을 설계합니다. 시스템은 이후 캐릭터의 참조 포트레이트를 생성하여 시각적 일관성을 보장합니다.
3. 제작: 파이프라인은 이미지-이미지(I2I) 기술을 사용해 각 장면의 첫 프레임을 생성한 후, 이미지-비디오(I2V) 모델을 사용해 5초짜리 비디오 클립으로 변환합니다.
4. 조합: 생성된 모든 클립은 moviepy를 사용해 최종 .mp4 파일로 연결됩니다.

대상 사용자

복잡한 AI 도구를 수동으로 관리하지 않고도 영화적인 마이크로 드라마를 빠르게 프로토타이핑하거나, 짧은 형식의 영상 콘텐츠를 제작하고자 하는 콘텐츠 크리에이터 및 영화 감독을 위한 것입니다.

주요 특징

• 엔드투엔드 자동화: 원시적인 아이디어에서 최종 렌더링된 영상까지 모든 과정을 처리합니다.
• 캐릭터 일관성: 참조 포트레이트와 특정 추출 에이전트를 사용해 장면 간 캐릭터 외모를 동일하게 유지합니다.
• 에이전트 기반 워크플로우: 스크립트라이터, 스토리보드 아티스트, 캐릭터 추출 에이전트와 같은 전문 에이전트를 조율하여 다양한 창작 역할을 수행합니다.
• 실시간 모니터링: SSE 스트리밍을 갖춘 Next.js 프론트엔드를 통해 7단계 파이프라인의 실시간 진행 상황을 확인할 수 있습니다.