NVIDIA Cosmos 3 인터랙티브 세계 시뮬레이션을 위한 오픈 모델
Cosmos 3 오픈 모델 개요
NVIDIA는 Cosmos 3 제품군 내에서 4개의 오픈 웨이트 체크포인트를 출시하며 Cosmos 세계 모델 플랫폼을 확장했습니다. 이 16B 파라미터 모델들은 인터랙티브 세계 시뮬레이션과 다중 센서, 다중 뷰 주행 장면 생성을 원활하게 하도록 설계되었습니다. OpenMDW1.1 라이선스 하에 출시된 이 모델들은 연구자와 개발자가 자율 시스템 및 로봇 공학을 위한 시뮬레이션 환경을 구축, 조정 및 개선할 수 있는 기반을 제공합니다.
모델 기능
4개의 새로운 체크포인트는 시뮬레이션 및 데이터 생성에서 각각 고유한 역할을 수행합니다.
Cosmos3-Nano-Transfer-Auto: 오프라인 합성 주행 데이터 생성을 위한 양방향 모델입니다. 최대 11개의 카메라 뷰에 걸친 동기화된 비디오와 WSM(World Scenario Map) 제어 및 텍스트 프롬프트에 의해 유도되는 RGB-LiDAR 공동 생성을 지원합니다.
Cosmos3-Nano-Sim-Auto: Transfer-Auto의 인과적으로 증류된 스트리밍 변형 모델입니다. 소수의 단계로 노이즈를 제거하여 동기화된 카메라 비디오와 LiDAR의 연속적인 청크를 생성함으로써 길고 인터랙티브한 주행 롤아웃을 가능하게 합니다.
Cosmos3-Nano-Sim-Transfer: 깊이, 세그멘테이션, 가장자리, 블러와 같은 물리 시뮬레이터 출력을 사실적인 RGB 비디오로 변환하도록 설계되어, 시뮬레이터가 시각적 관찰을 생성하는 동안 지상 진실(ground-truth) 상태를 유지할 수 있도록 합니다.
Cosmos3-Nano-Sim-Bimanual: 로봇 공학에 중점을 둔 이 모델은 양손 로봇 동작에 기반한 시각적 결과를 예측하며, YAM 및 AgiBot과 같은 구현체를 위한 인터랙티브 시뮬레이션을 지원합니다.
기술 아키텍처 및 학습
Cosmos 3는 텍스트 처리 네트워크와 시각적 생성 네트워크를 통합한 Mixture-of-Transformers 백본을 활용합니다. 이 시스템은 압축된 비디오 잠재 공간에서 작동하며, 시간적 인과 관계 어텐션(temporal-causal attention)을 통해 모델이 과거와 현재의 제어 정보를 처리하면서 미래 프레임으로부터의 정보 누출을 방지합니다.
학습 과정은 안정성과 성능을 향상시키기 위해 설계된 4단계 레시피를 따릅니다.
- 양방향 적응(Bidirectional Adaptation): 기록된 클립으로부터 도메인별 제어-비디오 관계를 학습합니다.
- 교사 강요(Teacher Forcing): 미래 타겟을 마스킹하면서 과거 관찰로부터 청크를 예측합니다.
- 일관성 증류(Consistency Distillation): 고정된 교사 모델을 사용하여 4단계 노이즈 제거 과정에서 청크를 생성하도록 학생 모델을 학습시킵니다.
- 자기 강요(Self-Forcing): 학생 모델이 생성한 자체 기록을 학습하여 오류 누적을 완화하며, 이때 고정된 교사 모델과 점수 모델이 분포 일치 신호를 제공합니다.
구현 및 적응
NVIDIA는 각 모델에 대한 사후 학습 레시피를 제공하여 개발자가 특정 센서 장비, 로봇 구현체 또는 주행 도메인에 체크포인트를 맞춤화할 수 있도록 합니다. 이 프레임워크는 NVIDIA GPU와 NVIDIA Container Toolkit이 설치된 Linux 환경을 필요로 합니다. 개발자는 제공된 추론 기술과 노트북을 사용하여 이러한 모델을 기존 시뮬레이션 파이프라인에 통합할 수 있습니다. 이 모델들은 연구자들이 합성 환경이 정책 학습을 얼마나 잘 지원하는지 측정하고 기본 시뮬레이션 기술에 기여할 수 있도록 하는 출발점 역할을 합니다.