NVIDIA Isaac for Healthcare v0.4: 從模擬到部署構建醫療機器人

NVIDIA Isaac for Healthcare v0.4 提供了一個開發者框架，透過在模擬和實體硬體之間整合資料收集、訓練和評估管線來加速 AI 醫療機器人的創建。此版本特別推出了 SO-ARM 起始工作流程，使 MedTech 開發者能夠使用 Sim2Real 方法構建和驗證自主手術助理。

SO-ARM 起始工作流程用於手術協助

SO-ARM 起始工作流程透過結合合成數據生成與真實世界定位，使自主手術助理的開發成為可能。該過程包括透過 LeRobot 收集數據、在 GR00T N1.5 模型上進行微調、在 IsaacLab 中評估策略，並將其部署到實體硬體。

技術實施管線

該工作流程結構為三階段管線：

  1. 資料收集：使用 SO101 機器人和 LeRobot 收集混合遙控示範。
  2. 模型訓練：GR00T N1.5 模型在利用雙鏡頭視覺的合併數據集上進行微調。
  3. 策略部署：透過 RTI DDS 通訊在實體硬體上執行即時推理。

模擬在此管線中扮演關鍵角色；用於策略訓練的數據中有超過 93% 是合成生成的，這顯著降低了對昂貴且有限的真實世界數據的依賴。

Sim2Real 混合訓練方法

為了克服純模擬（可能缺乏真實世界複雜性）和純真實世界訓練（成本高昂）的限制，該工作流程採用混合訓練策略。這通常涉及約 70 個模擬情節，以覆蓋多樣化的場景和環境變化，並配合 10-20 個真實世界情節，以提供真實性和定位。這種組合使策略能夠在兩個領域中更有效地泛化。

硬體與軟體需求

實施此工作流程需要特定的硬體配置：

  • GPU：具有至少 30GB VRAM 的 RT Core 啟用架構（Ampere 或更新），用於 GR00T N1.5 推理。
  • SO-ARM101 Follower：配備雙鏡頭視覺（腕部安裝和房間視圖）的 6-DOF 精密操縱器。
  • SO-ARM101 Leader：用於收集專家示範的 6-DOF 遙控介面。

對於尋求統一設置的開發者，所有模擬、訓練和部署任務都可以在單一 DGX Spark 工作站上運行。

端到端 模擬 收集–訓練–評估 管線

隨著 IsaacLab v0.3 版的發布，該框架支援完整的收集、訓練、評估與部署循環：

  • 合成數據生成：開發者可以透過鍵盤或硬體控制器遙控機器人，以捕捉多鏡頭觀測和機器人狀態，創建包含在真實環境中不安全採集的邊緣案例的數據集。
  • 策略訓練與評估：該框架與 Isaac Lab 的 RL 框架整合以進行 PPO 訓練，支援數千個平行模擬以進行統計驗證和軌跡分析。
  • TensorRT 轉換：模型會透過 TensorRT 自動優化以用於生產部署，支援多鏡頭推理和動態形狀，以確保即時效能。

開始使用與實作

開發者可以透過克隆 i4h-workflows 儲存庫並使用提供的自動化設置腳本（例如 tools/env_setup_so_arm_starter.sh）來實作手術助理工作流程。

主要資源

Sources