NVIDIA/cosmos

해결하는 문제

NVIDIA Cosmos는 로봇, 자율 주행 차량, 스마트 인프라와 같은 '물리적 AI' 애플리케이션을 구축하기 위한 기반을 제공합니다. 단순히 세계를 이해하는 것을 넘어서, 세계를 시뮬레이션하고 미래 상태를 예측하며 현실 세계에서의 물리적 이동을 위한 실행 가능한 정책을 생성할 수 있는 모델의 필요성을 해결합니다.

작동 방식

Cosmos 3는 통합된 Mixture-of-Transformers 아키텍처를 사용하여 오미모달 월드 모델을 생성합니다. 주로 두 가지 주요 기능 영역으로 나뉩니다:

• Reasoner: 텍스트와 비전을 입력으로 받아 텍스트를 출력하여 세계 이해, 기반 설정, 작업 계획, 몸체화된 추론을 가능하게 합니다.
• Generator: 텍스트, 비전, 음성, 행동을 입력으로 받아 비전, 음성, 행동을 출력하여 세계 시뮬레이션, 합성 데이터 생성, 정책 학습을 가능하게 합니다.

대상 사용자

로봇공학, 자율 주행, 물리적 에이전트 훈련을 위한 합성 데이터 생성에 종사하는 개발자들을 위한 것입니다.

주요 특징

• 세 가지 모델 레벨: 고품질 합성 데이터용 Super (64B), 속도/품질 균형을 고려한 Nano (16B), 실시간 온디바이스 배포용 Edge (4B)를 제공합니다.
• 오미모달 기능: 텍스트, 비전, 음성, 물리적 행동을 포함한 다양한 입력과 출력을 처리할 수 있습니다.
• 물리적 인식 생성: 운동량 전달과 물리적 정확성(예: 뉴턴의 크레들)을 렌더링할 수 있습니다.
• 행동 조건부 월드 모델링: 카메라 및 손 자세 입력에서의 에고센트릭 롤아웃과 같은 전방 역학을 지원합니다.