NVIDIA Isaac for Healthcare v0.4 发布

NVIDIA 发布了 Isaac for Healthcare v0.4，这是一个开发者框架，旨在通过在仿真和物理硬件之间集成数据收集、训练和评估管道来加速 AI 驱动的医疗机器人的创建。此框架通过允许开发者在虚拟环境中设计和验证工作流程，解决了医疗机器人领域的历史数据差距，将原型制作时间从数月缩短到数天。

SO-ARM 起始工作流用于手术辅助

SO-ARM 起始工作流为构建具身手术助手提供了完整的端到端管道。该过程允许开发者收集数据、后训练模型，并在安全、可重复的环境中将其部署到硬件上。

技术实现

工作流利用三阶段管道：

数据收集：使用 SO-101 机器人和 LeRobot 进行混合仿真和真实世界遥操作演示。
模型训练：在利用双摄像头视觉的合并数据集上对 GR00T N1.5 模型进行后训练。
策略部署：使用 RTI DDS 通信在物理硬件上进行实时推理。

值得注意的是，用于策略训练的数据中有超过 93% 是在仿真中合成生成的，这表明仿真在弥合机器人数据差距方面是有效的。

仿真到真实混合训练方法

为了平衡真实世界训练的成本与纯仿真的局限性，工作流采用了混合训练策略。这种方法通常将大约 70 个用于多样化场景和环境变化的仿真回合与 10-20 个真实世界回合相结合，以提供真实性和基础，从而在两个领域之间产生更有效泛化的策略。

硬件和软件要求

部署工作流需要特定的硬件配置：

GPU：安培架构或更高（启用 RT Core），用于 GR00T N1.5 推理的 VRAM 至少为 30GB。
SO-ARM101 Follower：配备双摄像头视觉（腕部安装和房间摄像头）的 6-DOF 精密操纵机。
SO-ARM101 Leader：用于收集专家演示的 6-DOF 遥操作接口。

对于没有物理硬件的用户，框架支持基于键盘的遥操作以进行仿真数据收集。所有仿真、训练和部署任务可以在单个 DGX Spark 工作站上执行。

端到端仿真收集-训练-评估管道

Isaac Lab 支持数据收集、训练、评估和部署的连续循环，以简化从实验到生产的过渡。

合成数据生成

开发者可以通过键盘或硬件控制器遥操作机器人来生成合成数据，捕获多摄像头观察、机器人状态和动作。这使得能够创建包含在真实世界医疗环境中不安全采集的边缘情况的数据集。

策略训练和评估

训练与 Isaac Lab 的 RL 框架用于 PPO 训练集成，使得数千个并行仿真可以同时运行。该系统内置了轨迹分析和成功指标，以便在各种场景下进行统计验证。

TensorRT 优化

模型被转换为 TensorRT 以用于生产部署，提供自动优化、对动态形状的支持以及多摄像头推理。包含基准测试工具以验证实时性能。

开始使用和资源

Isaac for Healthcare SO-ARM 起始工作流可通过 GitHub 仓库 i4h-workflows 获得。用户可以通过克隆该仓库并运行自动化设置脚本（例如 tools/env_setup_so_arm_starter.sh）来开始。

关键资源包括：

GitHub 仓库：完整的工作流实现。
文档：设置和使用指南。
GR00T 模型：可在 Hugging Face 上获得的预训练基础模型。
LeRobot：端到端机器人学习仓库。