GaTech-RL2/EgoVerse

해결하는 문제

EgoVerse는 자기중심적 데이터를 활용한 로봇 학습을 위한 프레임워크와 데이터셋을 제공합니다. 1인칭 시점에서 기록된 인간의 시연을 활용하여 로봇이 작업을 수행하도록 훈련하는 과제를 해결하며, 다양한 신체 구조를 가진 실제 인간의 움직임으로부터 로봇이 학습할 수 있도록 합니다.

작동 방식

이 프로젝트는 원시 자기중심적 데이터(Aria glasses나 Aloha 등에서 수집)를 표준화된 Zarr 형식으로 처리하는 파이프라인을 구현합니다. 인간의 시연을 단일 인간 신체 범주로 통합하는 통일된 신체 시스템을 사용하여 로봇(Eva robot 등)과의 공동 학습을 단순화합니다. 이 시스템에는 PyTorch Lightning 및 Hydra 기반의 학습 스크립트가 포함되어 있으며, EgoMimic (HPT-based) 및 Pi와 같은 알고리즘을 지원합니다. 또한 카메라 내부 파라미터를 사용하여 기록된 동작과 키포인트를 비디오 프레임 위에 오버레이하는 로컬 웹 앱을 통해 데이터를 시각화하는 도구도 제공합니다.

대상 사용자

로봇 학습, 모방 학습, 자기중심적 시각 분야의 연구자 및 개발자를 위해 설계되었으며, 특히 인간-로봇 시연 데이터를 사용하여 로봇 정책을 훈련하려는 분들에게 적합합니다.

주요 특징

• 통합된 신체 (Unified Embodiment): 여러 인간 데이터 소스를 단일 인간 신체로 통합하여 인간과 로봇의 방향을 정렬하고 공동 학습을 수행합니다.
• 포괄적인 도구 세트: 데이터 처리 스크립트, 학습 파이프라인, 궤적 및 키포인트를 시각화하기 위한 전용 대화형 데이터셋 브라우저가 포함되어 있습니다.
• 다중 소스 데이터 지원: Aria, Aloha 및 기타 외부 데이터셋을 포함한 다양한 소스의 데이터를 처리하는 도구를 제공합니다.
• 확장 가능한 학습: PyTorch Lightning 및 Hydra를 통한 분산 데이터 병렬 (DDP) 학습을 지원합니다.