nvidia-cosmos/cosmos-transfer2.5

해결하는 문제

Cosmos-Transfer2.5는 물리적 AI를 위한 고해상도이고 다양한 훈련 데이터를 생성하는 문제를 해결합니다. 완벽한 3D 시뮬레이션의 필요성을 줄이고, "시뮬레이션 2 리얼"(Sim2Real) 및 "리얼 2 리얼" 데이터 증강을 가능하게 하여 개발자들이 합성 또는 기존의 실제 세계 영상을 자율주행차 및 로봇의 훈련을 위한 다양한 현실적인 시나리오로 변환할 수 있도록 합니다.

작동 방식

RGB, 깊이, 세그멘테이션, 시각적 블러와 같은 여러 영상 모달리티의 구조적 입력을 수용하는 다중 컨트롤넷 아키텍처입니다. JSON 기반 구성 사양을 사용하여 사용자는 이러한 구조적 제어를 기반으로 영상 생성 프로세스를 안내할 수 있으며, 단일 영상 추론, 자동 제어맵 생성, 멀티 GPU 설정을 지원합니다.

대상 사용자

이 도구는 자율주행차(AV), 로봇, 영상 분석 AI 에이전트를 개발하는 물리적 AI 애플리케이션 개발자들을 위한 것입니다. 훈련 데이터셋의 세계 상태 다양성을 확장하고자 하는 사용자에게 적합합니다.

주요 특징

• 다중 모달리티 제어: 깊이, 에지, 세그멘테이션, 블러 제어를 지원하여 정밀한 영상 생성 가능.
• Sim2Real 및 Real2Real: 시뮬레이션 데이터를 현실적인 이미지로 변환하거나 실제 센서 데이터를 증강할 수 있음.
• 특화된 모델 패밀리: 일반 목적의 2B 모델, 자율주행차용 전용 체크포인트(자동 멀티뷰), 로봇 멀티뷰 제어 모델 포함.
• 에지 배포: 저지연 추론을 위한 소규모 체크포인트 제공.
• 확장된 생성: 더 긴 영상을 생성하기 위한 자기회귀 슬라이딩 윈도우 모드 제공.