NVlabs/GRAIL

解決する課題

GRAILは、移動（ locomotion ）と物体操作（ manipulation ）を組み合わせた複雑なタスクを実行する人型ロボット向けの高品質でメートル法の4Dトレーニングデータを取得する難しさに対処します。高価な実世界データ収集に依存する代わりに、このデータを合成する完全にデジタルなパイプラインを提供します。

仕組み

GRAILは多段階パイプラインを使用して合成トレーニングデータを生成します：

1. 3Dアセット生成：手続き型地形（階段など）やAI生成の3Dオブジェクトを作成します。
2. 2D HOI生成：3Dアセット、シミュレータ対応シーン、ビデオ基盤モデル（KlingやMiniMax-H3など）を組み合わせて、2Dの人間-物体インタラクション（HOI）ビデオを作成します。
3. 4D HOI再構築：これらの2Dビデオをメートル法の4D軌跡に変換します。
4. リターゲティング：これらの軌跡を特定のロボット（例：Unitree G1人型ロボット）にマッピングします。
5. ポリシー訓練：物体の拾い上げ、着座、地形の移動などの活動のためのタスク汎用ポリシーを訓練します。

対象者

人型ロコ操作とシミュレーションから実世界への転移に取り組むロボティクス研究者や開発者、特に視覚ポリシーを訓練するための大規模な合成データセットを生成したい人々。

ハイライト

• 完全デジタルパイプライン：3Dアセットとビデオ事前分布から4D軌跡を合成します。
• シミュレーションから実世界への転移：GRAILデータのみで訓練されたポリシーは、実世界の物体拾い上げや階段昇降に成功しています。
• ビデオ基盤モデル統合：外部ビデオモデルを活用して現実的なインタラクション事前分布を生成します。
• タスク汎用能力：テーブル上や地面での拾い上げ、着座、斜面/階段の移動など、幅広い動作をサポートします。