GaTech-RL2/EgoVerse

解決する課題

EgoVerseは、自己中心的なデータを用いたロボット学習のためのフレームワークとデータセットを提供します。一人称視点で記録された人間のデモンストレーションを活用してロボットにタスクを実行させるという課題に取り組み、さまざまな身体性を持つ多様で現実世界の人間の動きからロボットが学習できるようにします。

仕組み

このプロジェクトは、生の自己中心的なデータ（Aria glassesやAlohaなどから取得）を標準化されたZarr形式に処理するパイプラインを実装しています。統一された身体性システムを使用しており、人間のデモンストレーションを単一の人間の身体性カテゴリに集約することで、ロボット（Eva robotなど）との共同学習を簡素化します。システムにはPyTorch LightningとHydraで駆動する学習スクリプトが含まれており、EgoMimic (HPT-based) やPiといったアルゴリズムをサポートしています。また、カメラの内部パラメータを使用して記録されたアクションやキーポイントをビデオフレーム上にオーバーレイ表示するローカルWebアプリでデータを可視化するツールも提供しています。

対象ユーザー

ロボット学習、模倣学習、自己中心視覚に取り組む研究者や開発者、特に人間からロボットへのデモンストレーションデータを使用してロボットのポリシーを学習させたいと考えている方に最適です。

ハイライト

• 統一された身体性 (Unified Embodiment)：複数の人間のデータソースを単一の人間の身体性に集約し、人間とロボットの向きを揃えて共同学習を行います。
• 包括的なツール群：データ処理スクリプト、学習パイプライン、軌跡やキーポイントを可視化するための専用のインタラクティブなデータセットブラウザが含まれています。
• マルチソースデータサポート：Aria、Aloha、その他の外部データセットを含むさまざまなソースからのデータを処理するツールを提供します。
• スケーラブルな学習：PyTorch LightningとHydraを介した分散データ並列 (DDP) 学習をサポートしています。