code-video-model/CodeVideoModel

해결하는 문제

Code Video Model은 3D 장면 코드를 구조적 가이드로 사용하여 고품질의 제어 가능한 비디오를 생성하는 문제를 해결합니다. 공간적 일관성과 정밀한 카메라 움직임 구현에 어려움을 겪을 수 있는 기존의 텍스트-비디오 생성 모델에만 의존하는 대신, 이 프로젝트는 Three.js 코드를 사용하여 장면의 기하학적 구조와 움직임을 정의함으로써 최종 비디오 출력의 구조적 정확성을 보장합니다.

작동 방식

이 프로세스는 세 가지 주요 단계로 구성됩니다. 첫째, LLM을 사용하여 텍스트 프롬프트로부터 Three.js 코드를 생성하고 장면 구조를 정의하는 '프록시' 비디오를 만듭니다. 둘째, 원하는 시각적 스타일과 구도를 포착하는 고품질 참조 이미지를 생성합니다. 마지막으로, MiniMax-H3 모델을 사용하여 프록시 비디오의 구조적 가이드와 참조 이미지의 시각적 세부 정보를 결합하여 최종 비디오를 합성합니다.

대상 사용자

이 프로젝트는 제어 가능한 비디오 생성, 3D-to-비디오 파이프라인, AI 기반 장면 합성을 연구하는 연구원 및 개발자를 위한 것으로, 프로그래밍 가능한 3D 환경과 고충실도 생성 비디오 모델 사이의 간극을 메울 프레임워크가 필요한 분들에게 적합합니다.

주요 특징

• 코드 기반 생성: Three.js 코드를 구조적 프록시로 사용하여 카메라 경로와 객체 배치를 제어합니다.
• 다단계 파이프라인: LLM 기반 코드 생성, 이미지 기반 스타일 참조, 비디오 합성을 통합합니다.
• 대화형 뷰어: 생성된 3D 장면을 검사, 스크러빙 및 시각화할 수 있는 브라우저 기반 도구가 포함되어 있습니다.
• 벤치마크 포함: 구조, 스타일, 시각적 품질을 평가하기 위해 8개 애플리케이션에 걸친 22개 사례의 데이터셋인 CodeVideoBench를 제공합니다.