NVlabs/GRAIL

它解决了什么问题

GRAIL 解决了在执行涉及运动（行走）和物体交互（操作）的复杂任务时，获取大规模、高质量训练数据的难题。与依赖昂贵的真实世界数据收集不同，它提供了一个完全数字化的流程，用于合成逼真的训练轨迹。

它如何工作

该流程通过多个阶段生成数据：

1. 资产生成：创建3D资产，包括程序化地形（如楼梯）和AI生成的物体。
2. 2D-HOI生成：使用Blender和视频基础模型（如Kling或MiniMax-H3）生成2D人-物交互（HOI）视频。
3. 4D-HOI重建：将这些视频重建为度量标准的4D轨迹。
4. 重定向：将重建的人体运动重定向到特定机器人，例如Unitree G1。
5. 策略训练：使用生成的数据训练通用任务策略，例如拾取物体、坐下以及穿越不平坦地形。

适用对象

专为从事人形机器人运动-操作一体化及仿真到现实迁移的机器人研究人员和工程师设计。

亮点

• 端到端数字化流程：仅从3D资产和视频先验生成数据，无需真实世界中的人类示范。
• 仿真到现实迁移：仅在GRAIL生成的数据上训练的策略已成功迁移到真实世界中的物体拾取和爬楼梯任务。
• 任务多样性支持：支持多种行为，包括桌面和地面拾取、全身操作以及地形穿越（斜坡、路缘和楼梯）。
• 与视频模型集成：利用最先进的视频基础模型，合成逼真的交互先验。

该方法为训练人形机器人提供了全新的数据生成范式，尤其适用于复杂交互任务。 — @handle