nvidia-cosmos/cosmos-transfer2.5

解決的問題

Cosmos-Transfer2.5 解決了為物理AI生成高保真、多樣化訓練資料的挑戰。它降低了對完全精確3D模擬的需求，透過支援「模擬2真實」（Sim2Real）與「真實2真實」資料增強，讓開發者能將合成或現有的真實世界影片轉換為多樣且逼真的情境，用於訓練自駕車與機器人。

工作原理

這是一個多控制網架構，可接受多種影片模態的結構化輸入，例如RGB、深度、分割與視覺模糊。透過使用基於JSON的設定規格，使用者可引導生成過程，根據這些結構化控制來轉換影片，支援單一影片推論、自動控制圖生成與多GPU設定。

適用對象

本工具專為物理AI應用開發者設計，特別是從事自駕車（AV）、機器人與影片分析AI代理的開發者，他們需要在訓練資料集中擴大世界狀態的多樣性。

主要亮點

• 多模態控制：支援深度、邊緣、分割與模糊控制，實現精確的影片生成。
• Sim2Real 與 Real2Real：支援將模擬資料轉換為逼真影像，或對真實世界感測器資料進行增強。
• 專用模型家族：包含通用2B模型、專用於自駕車（Auto Multiview）的檢查點，以及機器人多視角控制模型。
• 邊緣部署：提供蒸餾檢查點，可在邊緣裝置上實現低延遲推論。
• 擴展生成：支援自回歸滑動視窗模式，用於生成更長的影片。