NVIDIA/cosmos

解決的問題

NVIDIA Cosmos 是一個專為機器人、自動駕駛車輛與智慧基礎設施建構「物理AI」而設計的開源平台。它提供一個統一的世界模型框架，能夠理解與生成物理世界，彌補視覺-語言模型、影片生成模型與世界-動作模型之間的差距。

工作原理

Cosmos 3 採用混合Transformer（MoT）架構，結合了用於推理的自回歸Transformer與用於多模態生成的擴散Transformer。系統主要在兩種模式下運作：

• 推理模式：處理文字與視覺輸入，產生文字輸出，用於任務規劃、物理推理與動作預測等任務。
• 生成模式：處理文字、視覺、聲音與動作輸入，產生影像、影片、同步聲音以及動作條件化的軌跡。

系統使用統一的3D多維旋轉位置嵌入（mRoPE），以在不同模態之間維持空間與時間的一致性。

適用對象

• 機器人開發者：用於建立即時機器人策略與動作軌跡。
• AI研究人員：用於開發世界模擬器與合成資料生成。
• 自主系統工程師：用於建構車輛與智慧基礎設施的決策系統。

主要亮點

• 全模態能力：聯合處理與生成語言、影像、影片、音訊與動作序列。
• 彈性模型家族：包含 Super（64B）、Nano（16B）與 Edge（4B）模型，適用於從資料中心到 Jetson 邊緣裝置的各種硬體。
• 多樣化流程：支援文字到影片、影像到影片、影片到影片，以及前向動力學（從動作預測未來狀態）。
• 廣泛整合：與 Diffusers、vLLM-Omni、TensorRT-LLM 和 SGLang 兼容，適用於研究與生產部署。