NVIDIA GTC 2025 Physical AI 출시: Cosmos Transfer, Physical AI 데이터셋, 그리고 Isaac GR00T N1

NVIDIA는 GTC 2025에서 물리적 AI 개발을 가속화하기 위해 세 가지 주요 오픈소스 출시를 공개했습니다: Cosmos Transfer 월드 파운데이션 모델, 포괄적인 Physical AI 데이터셋, 그리고 Isaac GR00T N1 인간형 로봇 추론 모델입니다. 이러한 도구는 개발자에게 고충실도 합성 환경을 생성하고, 상업용 등급 로봇 데이터에 접근하며, 인간형 로봇에 대한 일반화된 추론을 구현할 수 있는 기능을 제공합니다.

Cosmos Transfer: 컨트롤 가능한 월드 파운데이션 모델

Cosmos Transfer는 레이아웃, 객체 배치, 움직임에 대한 정밀한 제어를 통해 포토리얼리스틱 비디오 시퀀스를 생성하도록 설계된 70억 파라미터 월드 파운데이션 모델(WFM)입니다. 구조적 입력으로부터 고충실도 가상 월드 씬을 생성할 수 있게 하며, 이는 NVIDIA Omniverse 플랫폼을 통해 자율주행 차량 및 로봇의 합성 데이터 생성을 확장하는 데 중요합니다.

기술 구현 및 제어 메커니즘

Cosmos Transfer는 각 센서 모달리티별로 별도로 훈련된 개별 ControlNet을 사용하는 멀티컨트롤 아키텍처를 활용합니다. 추론 중에 개발자는 다음과 같은 여러 구조화된 시각적 또는 기하학적 데이터 유형을 사용하여 출력을 안내할 수 있습니다:

  • 공간 및 기하학적 입력: 3D 경계 상자 맵, 깊이 맵, 그리고 LiDAR 스캔.
  • 움직임 및 레이아웃 입력: 궤적 맵, 세그멘테이션 맵, 엣지 맵, 그리고 인간 동작 키포인트.
  • 환경 데이터: HD 맵.

이 브랜치들의 제어 신호는 적응형 시공간 제어 맵과 곱해진 후 합산되어 기본 모델의 트랜스포머 블록에 통합되기 전에 적용됩니다. 이를 통해 개발자는 구조와 외관을 엄격히 보존하거나, 구조는 유지하면서 날씨 조건이나 환경 변경과 같은 외관을 다양하게 할 수 있습니다.

오픈 Physical AI 데이터셋

NVIDIA는 Hugging Face에 상업용 등급이며 사전 검증된 Physical AI 데이터셋을 출시하여 Cosmos Predict와 같은 파운데이션 모델의 사후 학습을 지원했습니다.

데이터셋에는 다음과 같은 항목이 포함됩니다:

  • 로봇 궤적: 320,000개 이상의 궤적을 나타내는 15테라바이트 데이터.
  • 3D 에셋: 특수 SimReady 컬렉션을 포함한 최대 1,000개의 Universal Scene Description(OpenUSD) 에셋.

NVIDIA Isaac GR00T N1: 일반 인간형 로봇 추론

NVIDIA Isaac GR00T N1은 일반화된 인간형 로봇 추론 및 기술을 위해 설계된 첫 번째 오픈 파운데이션 모델입니다. NVIDIA Isaac GR00T-N1-2B 모델은 언어 및 이미지(다중모달 입력)를 처리하여 1X Neo 및 Fourier GR-1과 같은 다양한 환경과 다른 로봇 하드웨어에서 조작 작업을 수행하는 크로스-엠보디먼트 모델입니다.

듀얼 시스템 인지 아키텍처

Isaac GR00T N1은 인간 인지에서 영감을 받은 듀얼 시스템 아키텍처를 사용하여 고-level 추론과 저-level 실행을 분리합니다:

  • 시스템 2 (비전-언어 모델): NVIDIA-Eagle 및 SmolLM-1.7B를 기반으로 한 이 시스템은 체계적인 사고를 처리합니다. 시각 및 언어 지시를 해석하여 환경을 추론하고 필요한 행동을 계획합니다.
  • 시스템 1 (확산 트랜스포머): 이 동작 모델은 시스템 2의 고-level 계획을 정밀하고 연속적인 로봇 움직임과 행동으로 변환합니다.

기능 및 훈련

GR00T N1은 한 팔 또는 양팔로 물체를 잡는 것과 조작하는 것, 팔 간에 아이템 전달, 지속적인 상황 이해가 필요한 다단계 작업 실행과 같은 작업에서 강력한 일반화를 보여줍니다. 이러한 기능은 물류 처리, 포장 및 검사 응용을 대상으로 합니다.

이 모델은 실제 캡처된 데이터, 인터넷 규모 비디오 데이터, 그리고 NVIDIA Isaac GR00T Blueprint를 통해 생성된 합성 데이터로 구성된 다양한 데이터셋에서 훈련되었습니다.

Sources