TencentARC/VerseCrafter

해결하는 문제

VerseCrafter는 AI 생성 동영상에서 기하학적 정확성과 공간-시간 일관성을 유지하는 어려움, 특히 장면 내 카메라와 여러 개체의 움직임을 제어하려는 경우에 직면한 문제를 해결합니다.

작동 방식

이 시스템은 동결된 Wan2.1 비디오 백본을 사용하고, 확산 블록에 4D 기하 제어를 주입하기 위해 기하학적 인식이 가능한 "GeoAdapter"를 연결합니다. 카메라와 다중 객체의 움직임을 관리하기 위해 통합된 4D 제어 상태를 사용합니다. 이를 지원하기 위해 본 프로젝트는 실세계 비디오에 자동으로 렌더링된 카메라 궤적과 3D 가우시안 궤적을 포함하는 VerseControl4D 데이터셋을 도입했습니다.

대상 사용자

제어 가능한 비디오 생성 및 월드 모델 개발에 종사하는 연구자 및 개발자, 그리고 제공된 Blender 애드온을 사용해 궤적을 시각적으로 편집할 수 있는 3D 아티스트를 대상으로 합니다.

주요 특징

• 4D 기하 제어: 카메라와 다중 객체의 움직임에 대해 직접적이고 해석 가능한 제어를 제공합니다.
• GeoAdapter: 기본 비디오 사전 분포를 동결한 채로 비디오 품질을 희생하지 않고 정밀한 제어를 가능하게 합니다.
• Blender 통합: 1단계 워크플로우를 가능하게 하는 애드온을 제공하여 사용자가 3D 환경에서 궤적을 시각적으로 편집할 수 있습니다.
• VerseControl4D 데이터셋: 4D 제어 가능한 비디오 생성을 감독하기 위해 특별히 구축된 대규모 데이터셋입니다.