unitreerobotics/xr_teleoperate

해결하는 문제

이 프로젝트는 확장 현실(XR) 기기를 사용하여 Unitree 휴머노이드 로봇을 원격 제어할 수 있는 시스템을 제공합니다. 작업자는 로봇의 팔과 정교한 손을 실시간으로 제어할 수 있으며, 1인칭 시점을 제공하고 모방 학습에 사용할 원격 제어 데이터를 기록할 수 있습니다.

작동 원리

시스템은 XR 헤드셋(Apple Vision Pro, Meta Quest 3, PICO 4 Ultra 등)을 호스트 컴퓨터 및 로봇에 연결합니다. 웹 기반 인터페이스(Vuer)와 WebRTC를 사용하여 로봇의 헤드 카메라에서 작업자에게 저지연 이미지 스트리밍을 제공합니다. 작업자의 움직임은 XR 기기의 핸드 또는 컨트롤러 트래킹을 통해 추적되며, 이는 로봇의 자유도(DoF)에 매핑되어 unitree_sdk2_python 라이브러리를 통해 제어 명령으로 전송됩니다.

대상

Unitree 휴머노이드 로봇(G1, H1, H2, R1 등)을 보유하고 있으며, 정밀한 원격 제어를 수행하거나 AI 학습을 위한 고품질 데모 데이터를 수집하고자 하는 로봇 개발자 및 연구자.

주요 특징

• 폭넓은 하드웨어 지원: 다양한 Unitree 휴머노이드 모델(G1, H1, H2, R1) 및 정교한 손(Dex1-1, Dex3-1, BrainCo)을 포함한 다양한 엔드 이펙터와 호환됩니다.
• XR 통합: 몰입형 1인칭 제어를 위해 다양한 하이엔드 XR 헤드셋을 지원합니다.
• 데이터 수집: 모방 학습 작업을 위해 원격 제어 에피소드를 저장할 수 있는 내장 기록 모드가 포함되어 있습니다.
• 유연한 제어 모드: 핸드 트래킹 및 컨트롤러 트래킹 입력 모드와 몰입형, ego, 패스스루 디스플레이 모드를 모두 제공합니다.