HKUDS/ViMax

해결하는 문제

ViMax는 짧은 클립으로 제한되고, 캐릭터와 장면의 일관성이 부족하며, 내러티브 구조가 결여된 기존 AI 영상 도구의 한계를 해결합니다. 대본 작성, 스토리보드, 샷 디자인을 포함한 복잡한 제작 파이프라인을 자동화하여 간단한 개념이나 기존 대본에서 고품질의 장편 영상을 제작할 수 있도록 지원합니다.

작동 방식

ViMax는 여러 창의적 역할(감독, 작가, 프로듀서, 영상 생성기)을 조율하는 올인원 에이전트 프레임워크로 작동합니다. 내러티브 계획과 시각적 생성을 다음과 같은 전문 워크플로우를 통해 연결합니다.

• Idea2Video: 짧은 개념을 완전한 제작물(스토리, 캐릭터, 대본, 스토리보드)로 변환합니다.
• Script2Video: 상세한 시나리오를 창의적 의도를 유지하면서 다중 장면 영상으로 변환합니다.
• Novel2Video: 내러티브 압축 및 캐릭터 추적을 사용하여 장편 소설을 에피소드 형식의 시각적 내러티브로 각색합니다.
• AutoCameo: 인물이나 반려동물의 참조 사진을 통합하여 이야기 전체에서 일관된 외형을 유지합니다.

이 시스템은 계획을 위한 LLM과 렌더링을 위한 전문 이미지/영상 생성기를 결합하여 사용합니다. 또한 '에이전트 루프(Agent Loop)'와 대화형 계획, 수정, 렌더링 제어를 위한 Web UI를 포함합니다.

대상 사용자

촬영 및 시각적 스토리텔링 전문가 팀 없이도 전문적인 수준의 영상 콘텐츠를 제작하고자 하는 독립 크리에이터와 빠른 프로토타이핑을 원하는 사용자를 위해 설계되었습니다.

주요 특징

• 엔드 투 엔드 자동화: 초기 프롬프트부터 최종 조립된 영상까지 모든 과정을 처리합니다.
• 시각적 일관성: 참조 자료와 첫 프레임을 조정하여 캐릭터와 환경이 샷 간에 안정적으로 유지되도록 합니다.
• 대화형 제어: 에이전트와 아이디어를 논의하고, 결과물을 검토하며, 프로젝트를 관리할 수 있는 Web UI 및 TUI 기능을 제공합니다.
• 병렬 생성: 호환되는 샷과 미디어 자산을 동시에 생성하여 제작 속도를 높입니다.
• 유연한 입력: 개념, 명시적 대본, 장편 소설을 시작점으로 지원합니다.