Open-X-Humanoid/HEX

해결하는 문제

HEX는 다양한 하드웨어 플랫폼에 걸친 풀사이즈 휴머노이드 로봇의 전신 조작 문제를 해결합니다. 이 프레임워크는 이질적인 데이터 소스로부터 학습하고 서로 다른 휴머노이드 형태(embodiments) 간에 정책을 전송함으로써 로봇이 장기적인 조작 작업을 수행할 수 있도록 합니다.

작동 원리

HEX는 시각 및 언어 이해를 위해 Qwen-VL 백본을 사용하는 비전-언어-액션(VLA) 프레임워크입니다. 통합 고유 수용 감각 예측기(UPP)를 사용하여 서로 다른 휴머노이드 상태를 공유된 신체 부위 슬롯으로 정렬함으로써, 모델이 다양한 데이터셋에서 예측적인 신체 역학을 학습할 수 있도록 합니다. 플로우 매칭 액션 헤드는 팔, 손, 허리의 연속적인 미래 동작을 예측합니다. 안정성을 위해 HEX는 다리 동작을 처리하는 저수준 RL 기반 전신 컨트롤러에 고수준 명령을 제공합니다.

대상

이 프로젝트는 휴머노이드 로봇 제어, 크로스 엔보디먼트 학습 및 비전-언어-액션 모델을 연구하는 로봇 공학 연구자 및 개발자를 위한 것입니다.

주요 특징

• 크로스 엔보디먼트 능력: 이질적인 휴머노이드 상태를 정렬하여 서로 다른 플랫폼(예: Unitree G1, H1, Leju Kuavo) 간의 정책 전송을 가능하게 합니다.
• 전신 협응: 상체 및 허리에 대한 고수준 VLA 예측과 다리 안정성을 위한 저수준 RL 컨트롤러를 결합합니다。
• 포괄적인 데이터 지원: 다양한 휴머노이드 플랫폼의 데이터셋을 위한 사전 학습 및 미세 조정 코드가 포함되어 있습니다。
• 시뮬레이션 지원: LIBERO와 같은 시뮬레이션 환경에서 평가 및 훈련이 가능합니다.