NVIDIA Isaac for Healthcare v0.4：从仿真到部署构建医疗机器人

NVIDIA Isaac for Healthcare v0.4 提供了一个开发框架，通过整合仿真和物理硬件的数据采集、训练和评估流水线，加速 AI 医疗机器人的创建。此版本特别引入了 SO-ARM starter 工作流，允许 MedTech 开发人员使用 Sim2Real 方法构建并验证自主手术助手。

用于手术辅助的 SO-ARM Starter 工作流

SO-ARM starter 工作流通过将合成数据生成与现实世界落地相结合，实现了自主手术助手的开发。该过程包括通过 LeRobot 采集数据、微调 GR00T N1.5 模型、在 IsaacLab 中评估策略，并将其部署到物理硬件上。

技术实现流水线

该工作流被构建为一个三阶段流水线：

  1. 数据采集：使用 SO101 机器人和 LeRobot 采集混合遥操作演示。
  2. 模型训练：利用双摄像头视觉在组合数据集上对 GR00T N1.5 模型进行微调。
  3. 策略部署：使用 RTI DDS 通信在物理硬件上执行实时推理。

仿真在此流水线中起着至关重要的作用；用于策略训练的数据中超过 93% 是通过合成生成的，这显著降低了对昂贵且有限的现实世界数据的依赖。

Sim2Real 混合训练方法

为了克服纯仿真（可能缺乏现实世界的复杂性）和纯现实世界训练（成本高昂）的局限性，该工作流采用了混合训练策略。这通常涉及大约 70 个仿真回合以覆盖多样化的场景和环境变化，并配合 10-20 个现实世界回合以提供真实性和落地性。这种结合使得策略能够在两个领域中更有效地泛化。

硬件和软件要求

实施此工作流需要特定的硬件配置：

  • GPU：具有 RT Core 的架构（Ampere 或更高版本），且至少需要 30GB 的显存用于 GR00T N1.5 推理。
  • SO-ARM101 Follower：配备双摄像头视觉（腕部安装和房间视角）的 6 自由度精密机械臂。
  • SO-ARM101 Leader：用于采集专家演示的 6 自由度遥操作接口。

对于寻求统一设置的开发人员，所有的仿真、训练和部署任务都可以在单台 DGX Spark 工作站上运行。

端到端 Sim Collect–Train–Eval 流水线

随着 IsaacLab v0.3 版本的发布，该框架支持采集、训练、评估和部署的完整闭环：

  • 合成数据生成：开发人员可以通过键盘或硬件控制器遥操作机器人，以捕获多摄像头观测结果和机器人状态，创建包含在现实环境中采集不安全边缘案例的数据集。
  • 策略训练与评估：该框架与 Isaac Lab 的 RL 框架集成以进行 PPO 训练，支持数千个并行仿真进行统计验证和轨迹分析。
  • TensorRT 转换：模型通过 TensorRT 自动针对生产部署进行优化，支持多摄像头推理和动态形状，以确保实时性能。

入门与实现

开发人员可以通过克隆 i4h-workflows 仓库并使用提供的自动化设置脚本（例如 tools/env_setup_so_arm_starter.sh）来实现手术助手工作流。

关键资源

Sources