NVIDIA GTC 2025 Physical AI 發布: Cosmos Transfer, Physical AI Dataset, 和 Isaac GR00T N1

NVIDIA 在 GTC 2025 揭曉了三項主要的開源發布，以加速實體 AI 的開發：Cosmos Transfer 世界基礎模型、一個全面的 Physical AI Dataset，以及 Isaac GR00T N1 人形機器人推理模型。這些工具為開發者提供了生成高保真合成環境、存取商業級機器人資料以及為人形機器人實作通用推理的能力。

Cosmos Transfer: 可控世界基礎模型

Cosmos Transfer 是一個具有 70 億參數的世界基礎模型（WFM），旨在生成具有精確布局、物體放置和運動控制的逼真視訊序列。它能夠從結構輸入創建高保真的虛擬世界場景，這對於透過 NVIDIA Omniverse 平台擴展自動駕駛車輛和機器人的合成資料生成至關重要。

技術實作與控制機制

Cosmos Transfer 使用多控制架構，其中各個 ControlNet 會針對每個感測器模態分別進行訓練。在推理期間，開發者可以使用以下幾種結構化的視覺或幾何資料類型來引導輸出：

  • 空間和幾何輸入: 3D 邊界框圖、深度圖和 LiDAR 掃描。
  • 運動和佈局輸入: 軌跡圖、分割圖、邊緣圖和人體運動關鍵點。
  • 環境資料: 高清地圖。

這些分支的控制訊號會先乘以自適應時空控制圖，然後相加，再整合到基礎模型的 Transformer 塊中。這使開發者既能嚴格保留結構和外觀，也能在保持結構的同時改變外觀，例如更改天氣條件或環境。

開放 Physical AI Dataset

NVIDIA 在 Hugging Face 上發布了一個商業級、預先驗證的 Physical AI Dataset，以支援如 Cosmos Predict 之類的基礎模型的後續訓練。

該資料集包含：

  • 機器人軌跡: 15 太字節的資料，代表超過 320,000 條軌跡。
  • 3D 資產: 最多 1,000 個 Universal Scene Description (OpenUSD) 資產，包括一個專門的 SimReady 集合。

NVIDIA Isaac GR00T N1: 通用類人機器人推理

NVIDIA Isaac GR00T N1 是首個設計用於通用類人機器人推理與技能的開放基礎模型。NVIDIA Isaac GR00T-N1-2B 模型是一個跨具現化模型，能處理多模態輸入（語言和圖像），以在多樣化環境和不同機器人硬體上執行操作任務，例如 1X Neo 和 Fourier GR-1。

雙系統認知架構

Isaac GR00T N1 採用受人類認知啟發的雙系統架構，以將高層次推理與低層次執行分離：

  • 系統 2 (視覺-語言模型): 基於 NVIDIA-Eagle 和 SmolLM-1.7B，此系統負責有條理的思考。它解釋視覺和語言指令，以推理環境並規劃必要的行動。
  • 系統 1 (擴散 Transformer): 此動作模型將系統 2 的高層次規劃轉換為精確且連續的機器人運動與動作。

能力與訓練

GR00T N1 在以下任務中展現出強大的泛化能力：單臂或雙臂抓取並操作物體、在手臂間轉移物體，以及執行需要持續情境理解的多步驟任務。這些能力針對物料搬運、包裝和檢查等應用。

該模型是在一個包含真實捕獲資料、網路規模視訊資料以及透過 NVIDIA Isaac GR00T Blueprint 生成的合成資料的多樣化資料集上進行訓練的。

Sources