nv-tlabs/omni-dreams

해결하는 문제

Cosmos-Dreams는 자율 주행 시뮬레이션을 위해 설계된 월드 모델입니다. 실사 멀티 카메라 비디오를 실시간으로 생성하는 문제를 해결하여 개발자가 특정 제약 조건 및 상황을 기반으로 주행 시나리오를 시뮬레이션할 수 있도록 합니다.

작동 방식

이 모델은 자기 회귀 프로세스를 사용하여 비디오 청크를 생성합니다. 장면 외관의 앵커로 단일 실제 RGB 프레임을, 주행 컨텍스트를 위한 텍스트 프롬프트를, 그리고 구조화된 조건부 입력을 제공하기 위한 프레임별 HD 맵 이미지와 궤적 포즈를 입력으로 받습니다. 생성된 각 청크는 시간이 경과함에 따라 장면을 지속시키기 위해 모델에 다시 입력됩니다.

대상

이 프로젝트는 주로 자율 주행 시뮬레이션 및 월드 모델을 연구하는 연구자와 개발자를 위한 것이며, 특히 고사양 NVIDIA 하드웨어(8-GPU Ampere/Hopper 노드 등)를 사용할 수 있는 분들을 대상으로 합니다.

주요 특징

• 실시간 생성: 시뮬레이션을 위한 실사 멀티 카메라 비디오를 생성합니다.
• 구조화된 조건부 입력: HD 맵과 궤적 포즈를 사용하여 비디오 생성을 가이드합니다.
• 사후 학습 지원: student-init, bidirectional teacher, self-forcing distillation과 같은 기술을 사용하여 모델을 미세 조정하기 위한 런처 및 구성이 포함되어 있습니다.
• 통합: 대화형 주행 및 배치 비디오 생성을 위해 컴패니언 프로젝트인 FlashDreams와 함께 작동합니다.