NVIDIA Isaac for Healthcare v0.4 發布

NVIDIA 已發布 Isaac for Healthcare v0.4，這是一個開發者框架，旨在透過整合模擬與實體硬體的資料收集、訓練與評估管線，加速 AI 驅動的醫療機器人開發。此框架透過允許開發者在虛擬環境中設計與驗證工作流程，彌補醫療機器人歷史上的資料缺口，將原本需數月的原型製作時間縮短至數天。

SO-ARM 入門工作流程（外科協助）

SO-ARM 入門工作流程提供了一個完整的端對端管線，用於構建具體形態的外科協助機器人。此流程允許開發者在安全且可重複的環境中收集資料、後訓練模型，並將其部署至硬體。

技術實作

此工作流程採用三階段管線：

資料收集：使用 SO-101 機器人與 LeRobot 進行混合模擬與實際遠端操作示範。
模型訓練：在結合的資料集上使用雙相機視覺對 GR00T N1.5 模型進行後訓練。
策略部署：使用 RTI DDS 通訊在實體硬體上進行即時推論。

值得注意的是，用於策略訓練的資料中超過 93% 是在模擬中合成產生的，顯示模擬在彌補機器人資料缺口方面的有效性。

模擬到實體混合訓練方法

為了在實際訓練成本與純模擬的限制之間取得平衡，該工作流程採用混合訓練策略。此方法通常結合約 70 個模擬情境以涵蓋多樣的場景與環境變化，並加入 10‑20 個實際情境以提供真實性與基礎，從而產生在兩個領域皆能更有效泛化的策略。

硬體與軟體需求

部署此工作流程需要特定的硬體配置：

GPU：Ampere 架構或更新（支援 RT Core），且具備至少 30GB VRAM，以供 GR00T N1.5 推論使用。
SO-ARM101 Follower：具備雙相機視覺（腕部與房間相機）的 6 自由度精密操作手臂。
SO-ARM101 Leader：用於收集專家示範的 6 自由度遠端操作介面。

對於沒有實體硬體的使用者，該框架支援以鍵盤進行遠端操作以收集模擬資料。所有模擬、訓練與部署任務皆可在單一 DGX Spark 工作站上執行。

端對端模擬收集‑訓練‑評估管線

Isaac Lab 支援資料收集、訓練、評估與部署的持續循環，以簡化從實驗到產品的轉換流程。

合成資料生成

開發者可透過鍵盤或硬體控制器遠端操作機器人，捕捉多相機觀測、機器人狀態與動作，以產生合成資料。此方式可建立包含在實際醫療環境中收集不安全的極端案例的資料集。

策略訓練與評估

訓練與 Isaac Lab 的強化學習框架（PPO）整合，能同時執行數千個平行模擬。系統內建軌跡分析與成功指標，以在各種情境下進行統計驗證。

TensorRT 最佳化

模型會轉換為 TensorRT 以供產品部署，提供自動最佳化、支援動態形狀與多相機推論。隨附的效能基準測試工具可驗證即時表現。

入門與資源

Isaac for Healthcare SO-ARM 入門工作流程可於 i4h-workflows GitHub 倉庫取得。使用者可先克隆該倉庫，並執行自動化設定腳本（例如 tools/env_setup_so_arm_starter.sh）。

GitHub Repository：完整的工作流程實作。
Documentation：設定與使用指南。
GR00T Models：可於 Hugging Face 取得的預訓練基礎模型。
LeRobot：端到端機器人學習倉庫。