NVIDIA/cosmos

해결하는 문제

NVIDIA Cosmos는 로봇공학, 자율 주행 차량, 스마트 인프라를 위한 'Physical AI'를 구축하기 위해 설계된 오픈 플랫폼입니다. 시각-언어 모델, 영상 생성 모델, 세계-행동 모델 간의 격차를 메우는 통합적인 세계 모델 프레임워크를 제공합니다.

작동 방식

Cosmos 3는 추론을 위한 자기회귀형 Transformer와 다중 모달 생성을 위한 확산형 Transformer를 결합한 Mixture-of-Transformers (MoT) 아키텍처를 사용합니다. 주로 두 가지 모드로 작동합니다:

• 추론 모드: 텍스트 및 시각 입력을 처리하여 작업 계획, 물리적 추론, 행동 예측 등의 작업을 위한 텍스트 출력을 생성합니다.
• 생성 모드: 텍스트, 시각, 음성, 행동 입력을 처리하여 이미지, 영상, 동기화된 음성, 행동 조건부 롤아웃을 생성합니다.

시스템은 다양한 모달 간의 공간적 및 시간적 일관성을 유지하기 위해 통합된 3D 다차원 회전 위치 임베딩(mRoPE)을 사용합니다.

대상 사용자

• 로봇 개발자: 실시간 로봇 정책 및 행동 궤적 생성에 사용.
• AI 연구자: 세계 시뮬레이터 및 합성 데이터 생성 개발에 사용.
• 자율 시스템 엔지니어: 차량 및 스마트 인프라용 의사결정 시스템 구축에 사용.

주요 특징

• 오미모달 기능: 언어, 이미지, 영상, 음성, 행동 시퀀스를 공동으로 처리 및 생성 가능.
• 유연한 모델 패밀리: 데이터센터에서 Jetson 엣지 장치까지 다양한 하드웨어에 적합한 Super (64B), Nano (16B), Edge (4B) 모델 포함.
• 다양한 워크플로우: 텍스트 → 영상, 이미지 → 영상, 영상 → 영상, 그리고 전방 역학(행동으로부터 미래 상태 예측)을 지원.
• 광범위한 통합: 연구 및 생산 환경 모두에서 사용 가능한 Diffusers, vLLM-Omni, TensorRT-LLM, SGLang과 호환.