NVIDIA Cosmos-H-Dreams：手術機器人專用的即時生成式模擬器

TL;DR

NVIDIA 發布了 Cosmos-H-Dreams，這是一款針對手術機器人開發的即時、動作條件生成式模擬器。透過將 Cosmos-H-Surgical-Simulator 蒸餾為因果學生模型（causal student model）並利用 FlashDreams 推論引擎，NVIDIA 已能在單個 GPU 上以每秒 160 幀（FPS）的速度實現手術場景的互動式閉迴路模擬。

從世界模型轉向互動式模擬器

Cosmos-H-Dreams 是前代 Cosmos-H-Surgical-Simulator 的進化版——這是一個基於 NVIDIA Cosmos-Predict2.5-2B 並在 Open-H-Embodiment 數據集上訓練的動作條件世界基礎模型。雖然原始模擬器主要用於離線策略評估和合成數據生成，但 Cosmos-H-Dreams 將這些功能推向了即時化領域。

具體而言，該模型專門用於 da Vinci Research Kit (dVRK) 桌面縫合。它接收初始 RGB 幀和機器人運動學的即時串流作為輸入，以自回歸方式產生下一序列的幀。NVIDIA 還透過將其與來自 CMR Surgical 和 Cambridge Consultants 的 Versius 外科醫生控制器整合，展示了該系統的多功能性。

實現即時性能的蒸餾管線

為了在不犧牲手術動力學的情況下實現即時速度，Cosmos-H-Dreams 採用了專為長距離自回歸展開（autoregressive rollouts）設計的「教師到學生」訓練管線。

手術教師模型

過程始於基於 Cosmos-H-Surgical-Simulator Open-H 檢查點的雙向教師模型。該教師模型使用統一的 44 維動作表示。對於 dVRK 桌面模型，雙臂動作內容（相對末端執行器平移、旋轉和夾持器狀態）會映射到此表示。教師模型在 JHU dVRK 桌面混合數據集上進行微調，該數據集包含成功的演示和失敗案例（例如針掉落和投擲失敗），以確保模擬器能準確重現錯誤動作的後果。

為了在長距離展開期間保持穩定性，教師模型的時序視野（temporal horizon）在訓練過程中從 12 幀逐步增加到 72 幀。

因果預熱與 Self-Forcing 蒸餾

蒸餾過程分為兩個主要階段：

1. Causal Warmup（因果預熱）：從教師模型初始化一個因果學生模型，並訓練其模仿預先計算並緩存的去噪軌跡。這教會了學生模型使用因果注意力（causal attention）和串流鍵值（KV）緩存。
2. Self-Forcing Distillation（Self-Forcing 蒸餾）：為了防止自回歸模型在以自身不完美的輸出作為條件時產生的誤差累積，NVIDIA 使用了 self-forcing 蒸餾。學生模型生成自己的上下文，而凍結的教師模型則提供分布匹配（distribution-matching）監督，引導這些展開趨向真實的影片。

由此產生的學生模型支持少步擴散（few-step diffusion），每個潛在幀僅需兩步去噪。

FlashDreams：即時推論引擎

Cosmos-H-Dreams 透過 FlashDreams 提供服務，這是一個針對自回歸世界模型和影片模型開發的加速推論庫。FlashDreams 實施了多項優化以降低延遲，包括：

• Streaming KV cache
• CUDA Graph capturing
• Model compilation

這些優化將推論速度從單個 NVIDIA RTX PRO 6000 GPU 上的約 10 FPS（標準 Cosmos-H-Surgical-Simulator）提升到了約 160 FPS。這實現了幾種互動模式：

• 瀏覽器用戶端：透過 WebRTC 傳輸鍵盤指令和生成的幀。
• Meta Quest 用戶端：透過 WebXR 將追蹤的控制器動作映射到機器人動作。
• 閉迴路策略：與學習到的手術策略整合，實現觀察與動作的即時交換。

手術物理 AI 的未來方向

NVIDIA 將 Cosmos-H-Dreams 視為閉迴路手術物理 AI 的基礎。未來的開發重點將從視覺品質轉向透過新的基準測試來評估功能準確性，包括：

• 工具尖端到達範圍與姿態準確度
• 夾持器循環保真度
• 閒置穩定性
• 反事實動作多樣性
• 長時程漂移
• 模擬與真實策略結果的一致性

潛在的下游應用包括具備延遲感知能力的遠距手術、互動式手術演練、手術規劃和術中決策支持。NVIDIA 指出，Cosmos-H-Dreams 是一個研發平台，並非旨在作為診斷系統、術中影像的替代品或實體機器人控制器。