NVlabs/GRAIL

What it solves

GRAILは、移動（locomotion）と物体操作（manipulation）の両方を伴う複雑なタスクを実行するヒューマノイドロボット向けに、大規模かつ高品質なトレーニングデータを取得することの難しさを解決します。高価な現実世界でのデータ収集に頼る代わりに、現実的なトレーニング軌道を合成するための完全なデジタルパイプラインを提供します。

How it works

パイプラインは、いくつかのステージを通じてデータを生成します：

1. Asset Generation: 3Dアセットの作成。プロシージャルな地形（階段など）やAI生成オブジェクトを含みます。
2. 2D-HOI Generation: Blenderとビデオ基盤モデル（KlingやMiniMax-H3など）を使用して、2Dの人間と物体の相互作用（HOI）ビデオを作成します。
3. 4D-HOI Reconstruction: これらのビデオをメトリックな4D軌道に再構成します。
4. Retargeting: 再構成された人間の動きを、Unitree G1などの特定のロボットにリターゲティングします。
5. Policy Training: 生成されたデータは、物体の持ち上げ、座る、不整地を横断するといったアクションのためのタスク汎用的なポリシーをトレーニングするために使用されます。

Who it’s for

ヒューマノイドのloco-manipulationおよびsim-to-real転送に取り組むロボティクス研究者やエンジニア向けに設計されています。

Highlights

• End-to-End Digital Pipeline: 現実世界での人間のデモンストレーションを必要とせずに、3Dアセットとビデオの事前知識からデータを生成します。
• Sim-to-Real Transfer: GRAILによって生成されたデータのみでトレーニングされたポリシーは、現実世界での物体の持ち上げや階段の昇降に正常に転送されました。
• Versatile Task Support: テーブルトップや地面からのピックアップ、全身操作、地形の横断（傾斜、縁石、階段）を含む幅広い行動をサポートします。
• Integration with Video Models: 最先端のビデオ基盤モデルを活用して、現実的な相互作用の事前知識を合成します。