GaTech-RL2/EgoVerse

解决的问题

EgoVerse 提供了一个用于机器人从自我中心数据中学习的框架与数据集。它解决了通过利用从第一人称视角记录的人类示范来训练机器人执行任务的挑战，使机器人能够从不同实体中多样化、真实世界的人类动作中进行学习。

运作方式

该项目实现了一套将原始自我中心数据（例如来自 Aria glasses 或 Aloha）处理为标准化 Zarr 格式的管线。它使用统一的实体系统，将人类示范归纳为单一的人类实体类别，以简化与机器人（如 Eva robot）的联合训练。该系统包含由 PyTorch Lightning 和 Hydra 驱动的训练脚本，支持如 EgoMimic (HPT-based) 和 Pi 等算法，并提供通过本地 Web 应用程序可视化数据的工具，利用相机内参将记录的动作与关键点叠加在视频帧上。

适用对象

专为从事机器人学习、模仿学习和自我中心视觉的研究人员与开发者设计，特别是那些希望使用“人对机器人”示范数据来训练机器人策略的人员。

特色亮点

• 统一实体 (Unified Embodiment)：将多个人类数据来源归纳为单一的人类实体，以对齐人类与机器人的方向，进行联合训练。
• 全面的工具集：包含数据处理脚本、训练管线，以及用于可视化轨迹与关键点的专用交互式数据集浏览器。
• 多来源数据支持：提供处理来自 Aria、Aloha 及其他外部数据集等各种来源数据的工具。
• 可扩展训练：通过 PyTorch Lightning 和 Hydra 支持分布式数据并行 (DDP) 训练。