NVlabs/GRAIL

它解決的問題

GRAIL 解決了在人類機器人執行涉及移動（行走）與物件互動（操作）的複雜任務時，難以獲取大規模、高品質訓練資料的問題。與依賴昂貴的現實世界資料收集不同，它提供了一個完全數位化的流程，以合成真實的訓練軌跡。

如何運作

該流程透過多個階段生成資料：

1. 資產生成：建立3D資產，包括程序化地形（如樓梯）和AI生成的物件。
2. 2D-HOI 生成：使用 Blender 和視訊基礎模型（如 Kling 或 MiniMax-H3）生成2D人機互動（HOI）影片。
3. 4D-HOI 重構：將這些影片重構為度量標準的4D軌跡。
4. 重定向：將重構的人體動作重定向至特定機器人，例如 Unitree G1。
5. 策略訓練：使用生成的資料訓練通用任務策略，例如拾取物件、坐下以及穿越不平坦地形。

適用對象

專為致力於人類機器人行走與操作整合以及模擬到現實轉移的機器人研究人員和工程師設計。

主要特色

• 端到端數位流程：僅從3D資產和視訊先驗生成資料，無需現實世界中人類示範。
• 模擬到現實轉移：僅在 GRAIL 生成資料上訓練的策略已成功應用於現實世界中的物件拾取與爬樓梯任務。
• 多功能任務支援：支援多種行為，包括桌面與地面拾取、全身操作以及地形穿越（斜坡、路緣與樓梯）。
• 整合視訊模型：利用先進的視訊基礎模型，合成真實的互動先驗。

"這項工作展示了如何利用數位生成的資料來訓練人類機器人執行複雜的行走與操作任務，而無需依賴真實世界的人類示範。" — @zhangyuan

"GRAIL 的流程非常適合用於快速生成大量多樣化的訓練資料，特別是在現實世界資料收集困難的情況下。" — @liuwei

"整合視訊基礎模型是關鍵創新，讓我們能從簡單的視訊輸入中生成高品質的4D軌跡。" — @chenxiaoyu