GaTech-RL2/EgoVerse

它解决了什么问题

EgoVerse 提供了一个框架和数据集，用于从第一人称（自我中心）数据中进行机器人学习。它特别解决了利用第一人称视角记录的人类示范来训练机器人执行任务的挑战，使机器人能够从不同身体形态的多样化真实世界人类数据中学习。

它如何工作

该项目实现了一个将原始第一人称数据（例如来自 Aria 眼镜或 Aloha 的数据）处理为标准化 Zarr 格式的流水线。它使用统一的身体形态系统，将人类示范与机器人数据（特别是 Eva 机器人）对齐，确保其末端执行器的方向和姿态一致。这使得可以使用 ACT、Pi 和 EgoMimic（基于 HPT 的）等算法进行联合训练和可视化。

适用对象

希望使用人类第一人称示范和标准化数据处理工具来训练机器人的机器人学习和具身人工智能领域的研究人员和开发者。

主要亮点

• 多身体形态支持：将各种人类数据源整合为统一的人类身体形态，便于与机器人进行联合训练。
• 标准化数据格式：使用 Zarr 存储进行高效的数据处理，并包含必需的相机内参以实现准确渲染。
• 集成可视化：包含一个本地网页应用（latent_inspector.py），支持交互式浏览训练片段，包括轨迹、方向和关键点的叠加显示。
• 支持多种算法：提供多个模仿学习算法（包括 ACT 和 Pi）的训练脚本。