GaTech-RL2/EgoVerse

해결하는 문제

EgoVerse는 로봇 학습을 위한 프레임워크와 데이터셋을 제공하며, 주관적(1인칭) 데이터에서 학습할 수 있도록 합니다. 특히 인간의 1인칭 시점에서 기록된 시연 데이터를 활용하여 로봇이 작업을 수행하도록 훈련하는 도전 과제를 해결합니다. 이를 통해 다양한 실제 세계의 인간 데이터를 다양한 신체 구조( embodiment )를 통해 로봇이 학습할 수 있게 합니다.

작동 방식

이 프로젝트는 Aria 안경이나 Aloha와 같은 원시 1인칭 데이터를 표준화된 Zarr 형식으로 처리하는 파이프라인을 구현합니다. 인간의 시연 데이터와 로봇 데이터(특히 Eva 로봇)를 통합된 신체 구조 시스템으로 정렬하여, 끝단 기구의 방향과 자세가 일관되도록 합니다. 이를 통해 ACT, Pi, EgoMimic(HPT 기반)과 같은 알고리즘을 사용하여 공동 훈련 및 시각화가 가능합니다.

대상 사용자

1인칭 인간 시연 데이터와 표준화된 데이터 처리 도구를 사용하여 로봇을 훈련시키고자 하는 로봇 학습 및 몸체 기반 AI 연구자 및 개발자들입니다.

주요 특징

• 다중 신체 구조 지원: 다양한 인간 데이터 소스를 통합된 인간 신체 구조로 압축하여 로봇과의 공동 훈련을 더 쉽게 만듭니다.
• 표준화된 데이터 형식: 효율적인 데이터 처리를 위해 Zarr 저장소를 사용하며, 정확한 렌더링을 위해 필수적인 카메라 내부 파라미터를 포함합니다.
• 통합 시각화: 트래잭토리, 방향, 키포인트를 오버레이하는 기능을 포함한 에피소드를 상호작용적으로 탐색할 수 있는 로컬 웹 앱(latent_inspector.py)이 제공됩니다.
• 다양한 알고리즘 지원: ACT 및 Pi를 포함한 여러 이미테이션 학습 알고리즘에 대한 훈련 스크립트를 제공합니다.