AMAP-ML/DreamX-World

해결하는 문제

DreamX-World는 사용자가 실시간으로 탐색하고 수정할 수 있는 고해상도의 상호작용 가능한 세계 시뮬레이션을 생성하는 일반 목적의 인터랙티브 월드 모델입니다. 장기 동영상 생성에서 흔히 발생하는 정체성, 배경, 스타일의 왜곡 문제를 해결하며, 카메라 이동과 환경 변화에 대한 정밀한 제어를 가능하게 합니다.

작동 방식

이 모델은 Unreal Engine 데이터, 게임 플레이 영상, 실제 영상과 카메라 추정을 결합한 확장 가능한 데이터 엔진을 사용하여 훈련됩니다. 점진적인 훈련 파이프라인을 채택하여, 먼저 세부적인 행동 제어를 학습하고, 다음으로 개방형 이벤트 반응을 학습한 후, 강화 학습을 활용하여 시각적 정교함과 상호작용의 일관성을 향상시킵니다. 재방문 시 장면의 지속성을 유지하기 위해 기하학적 가이드 메모리 검색을 사용하여 이전 관측에서 시각적 증거를 복구합니다. 효율성을 높이기 위해 강제(Forcing)와 증류(Distillation)를 활용하여 인터랙티브 생성을 실현합니다.

대상 사용자

이 프로젝트는 월드 모델, 인터랙티브 AI 시뮬레이션, 게임, 가상 환경, 로봇 시뮬레이션 등 다양한 응용 분야에서 고해상도 동영상 생성에 종사하는 연구자 및 개발자를 대상으로 합니다.

주요 특징

• 인터랙티브 탐색: 안정적인 카메라 추종 동작을 제공하는 제1인칭 및 일관된 제3인칭 시점 모두 지원.
• 장기 예측 생성: 시각적 왜곡이 크게 발생하지 않으며 최대 1분까지의 일관된 동영상을 생성 가능.
• 프롬프트 기반 이벤트: 사용자가 단일 또는 복합 이벤트를 트리거하여 환경을 동적으로 변형할 수 있음.
• 장면 지속성: 기하학적 가이드 메모리를 사용하여 재방문한 영역의 레이아웃과 객체 정체성을 유지.
• 다양한 환경: 현실적인 도시 및 자연 풍경부터 스타일리시한 과학소설 및 판타지 세계까지 다양한 설정을 생성 가능.