GaTech-RL2/EgoVerse

What it solves

EgoVerseは、一人称視点（egocentric）のデータからロボット学習を行うためのフレームワークとデータセットを提供します。具体的には、一人称視点から記録された人間のデモンストレーションを活用することで、ロボットが多様な実世界の人間データを、異なる身体性（embodiment）を越えて学習できるようにするという課題に対処します。

How it works

このプロジェクトは、生のEgocentricデータを（Aria glassesやAlohaなどから）標準化されたZarr形式に処理するためのパイプラインを実装しています。人間のデモンストレーションとロボットのデータ（具体的にはEvaロボット用）を、エンドエフェクタの向きとポーズが一致するように整列させる統一された身体性システムを使用しています。これにより、ACT、Pi、EgoMimic（HPTベース）などのアルゴリズムを用いた共同学習と可視化が可能になります。

Who it’s for

人間のEgocentricデモンストレーションと標準化されたデータ処理ツールを使用してロボットを学習させたい、ロボット学習およびEmbodied AIの研究者や開発者。

Highlights

• Multi-Embodiment Support: ロボットとの共同学習を容易にするため、様々な人間データのソースを統一された人間の身体性へと集約します。
• Standardized Data Format: 効率的なデータ処理のためにZarrストアを使用し、正確なレンダリングのために必須のカメラ内参（camera intrinsics）を含んでいます。
• Integrated Visualization: エピソードをインタラクティブに閲覧するためのローカルWebアプリ（latent_inspector.py）が含まれており、軌跡、向き、キーポイントのオーバーレイ表示が可能です。
• Diverse Algorithm Support: ACTやPiを含む複数の模倣学習アルゴリズムのトレーニングスクリプトを提供します。