NVlabs/GRAIL

解决的问题

GRAIL 解决了为执行结合移动（运动）和物体交互（操作）的复杂任务的人形机器人获取高质量、公制 4D 训练数据的困难。它不依赖昂贵的真实世界数据收集，而是提供完全数字化的管道来合成这些数据。

工作原理

GRAIL 使用多阶段管道生成合成训练数据：

1. 3D 资产生成：创建程序化地形（如楼梯）或 AI 生成的 3D 物体。
2. 2D HOI 生成：结合 3D 资产、模拟器就绪场景和视频基础模型（如 Kling 或 MiniMax-H3）创建 2D 人体-物体交互（HOI）视频。
3. 4D HOI 重建：将这些 2D 视频转换为公制 4D 轨迹。
4. 重定向：将这些轨迹映射到特定机器人，例如 Unitree G1 人形机器人。
5. 策略训练：训练任务通用策略，用于拾取物体、坐下和穿越地形等活动。

适用对象

从事人形机器人移动操作和模拟到真实迁移的机器人研究人员和开发者，特别是那些希望生成大规模合成数据集以训练视觉策略的人。

亮点

• 完整数字管道：从 3D 资产和视频先验合成 4D 轨迹。
• 模拟到真实迁移：仅在 GRAIL 数据上训练的策略已成功迁移到真实世界的物体拾取和爬楼梯。
• 视频基础模型集成：利用外部视频模型生成真实的交互先验。
• 任务通用能力：支持广泛的运动，包括桌面和地面拾取、坐下以及斜坡/楼梯穿越。