amazon-far/TWIST2

해결 과제

TWIST2는 휴머노이드 로봇을 위한 고품질의 확장 가능하고 이식성 있는 데이터를 수집하는 데 따르는 어려움을 해결합니다. 인간의 동작과 로봇의 실행 사이의 간극을 메우는 시스템을 제공하여 시뮬레이션 및 실제 환경 모두에서 효율적인 원격 조작과 데이터 수집을 가능하게 합니다.

작동 원리

이 시스템은 상위 수준의 동작 제어와 하위 수준의 로봇 실행을 분리합니다.

1. 상위 수준 제어: 인간의 동작은 PICO VR 헤드셋(온라인 원격 조작) 또는 오프라인 모션 데이터셋을 통해 캡처 및 스트리밍됩니다.
2. 모션 리타겟팅: General Motion Retargeting (GMR) 시스템을 사용하여 인간의 움직임을 로봇의 형태에 매핑합니다.
3. 하위 수준 제어: 학습된 RL 기반의 범용 모션 트래커(학생 정책)가 리타겟팅된 동작을 실행합니다. 이 정책은 효율적인 배포를 위해 ONNX 모델로 내보내집니다.
4. 통신: Redis 서버를 사용하여 상위 수준의 모션 스트리밍과 하위 수준 컨트롤러 간의 통신을 처리합니다.

대상 사용자

휴머노이드 로봇 공학을 연구하는 연구원 및 엔지니어, 특히 모방 학습, sim-to-real 전이, 대규모 휴머노이드 데이터 수집에 집중하는 분들.

주요 특징

• 포괄적인 데이터 수집: 시뮬레이션(sim2sim) 및 실제 로봇(sim2real) 배포를 모두 지원합니다.
• VR 원격 조작: PICO VR 헤드셋과 통합되어 실시간 인간-로봇 제어를 구현합니다.
• 모듈형 아키텍처: 상위 수준의 모션 스트리밍과 하위 수준의 RL 정책을 분리합니다.
• 하드웨어 지원: Unitree G1 휴머노이드 로봇을 위해 특별히 설계 및 테스트되었습니다.