nvidia-cosmos/cosmos-transfer1

해결하는 문제

Cosmos-Transfer1은 제어 가능한 멀티모달 세계 생성을 위한 프레임워크를 제공합니다. 사용자는 깊이 맵, 세그멘테이션 마스크, 에지 감지, LiDAR 또는 HDMaps와 같은 다양한 입력 신호를 사실적인 비디오 시뮬레이션으로 변환할 수 있습니다. 이는 개발자가 구조화된 입력에서 고충실도 시각 데이터를 생성해야 하는 자율 주행 시뮬레이션이나 로봇 공학과 같은 물리 AI 애플리케이션에 특히 유용합니다.

작동 원리

제어 가능한 생성기 역할을 하는 파운데이션 모델 아키텍처를 사용합니다. 사용자는 텍스트 프롬프트와 함께 하나 이상의 조건부 입력(예: 깊이 맵 또는 세그멘테이션 비디오)을 제공합니다. 이 모델은 ControlNet 기반 접근 방식을 사용하여 생성 프로세스를 안내하며, 출력 비디오가 입력 모달리티에서 제공하는 공간적 및 시간적 제약을 준수하도록 보장합니다. 또한 720p 출력을 4K 해상도로 변환하는 업스케일러가 포함되어 있으며, 필요한 확산 단계 수를 줄여 추론 속도를 높이는 증류(distillation)를 지원합니다.

대상 사용자

이 프로젝트는 시뮬레이션, 로봇 공학 또는 자율 주행 개발을 위한 세계 모델을 구축, 훈련 또는 사용자 정의해야 하는 물리 AI 연구원 및 엔지니어를 위해 설계되었습니다. 특정 센서나 구조적 입력을 기반으로 합성 데이터를 생성하거나 환경을 시뮬레이션해야 하는 사람들을 대상으로 합니다.

주요 특징

• 깊이, 세그멘테이션, 에지, 블러, LiDAR 및 HDMap 입력 조합을 사용한 멀티모달 조건부 생성 지원.
• 생성된 비디오 해상도를 향상시키는 4K 업스케일러 포함.
• 더 빠른 추론을 위한 사후 훈련, 처음부터의 사전 훈련 및 모델 증류를 위한 스크립트 제공.
• 단일 뷰에서 다중 뷰 생성 기능을 포함하여 자율 주행 (AV) 애플리케이션에 대한 전문적인 지원 제공.
• 콘텐츠 안전 및 조정을 위해 Llama Guard 3 통합.