nv-tlabs/omni-dreams

해결하는 문제

OmniDreams는 자율 주행 시뮬레이션을 위한 월드 모델입니다. 실시간으로 사실적인 멀티카메라 영상을 생성하는 문제를 해결하여, 자율 주행 차량 시스템의 훈련과 테스트에 사용할 수 있는 합성 주행 환경을 생성할 수 있게 합니다.

작동 방식

이 모델은 자기회귀적 생성 프로세스를 사용합니다. 장면의 외관을 위한 앵커로 단일 실사 RGB 프레임을 입력받고, 주행 맥락을 위한 텍스트 프롬프트, 각 프레임의 HD 맵 이미지 및 트래잭토리 포즈를 구조적 조건으로 사용합니다. 프레임을 청크 단위로 생성하고, 각 청크를 다음 단계에 피드백하여 시간적으로 일관성을 유지합니다.

대상 사용자

이 프로젝트는 자율 주행 시뮬레이션 및 월드 모델에 종사하는 연구자와 개발자를 주요 대상으로 하며, 특히 고성능 NVIDIA 하드웨어(예: 8-GPU Ampere/Hopper 노드)에 접근 가능한 사용자에게 적합합니다.

주요 특징

• 실시간 생성: 시뮬레이션용으로 사실적인 멀티카메라 영상을 생성합니다.
• 구조적 조건부 생성: HD 맵과 트래잭토리 포즈를 사용해 생성을 안내합니다.
• 훈련 후 기능: 다양한 증류 방법을 사용해 Cosmos2 SV-HDMap 월드 모델을 미세 조정할 수 있는 도구를 포함합니다.
• 통합성: 인터랙티브 주행 및 배치 추론을 위한 보조 프로젝트인 FlashDreams와 함께 작동합니다.