Open-X-Humanoid/HEX

해결하는 문제

HEX는 서로 다른 휴머노이드 로봇 플랫폼에서 복잡하고 장기적인 전신 조작을 수행하는 과제를 해결합니다. 다양한 휴머노이드 상태를 공통 형식으로 정렬함으로써 '구현 격차'—한 로봇의 데이터를 다른 로봇이 쉽게 사용할 수 없는 문제—를 해결하여 단일 정책이 서로 다른 하드웨어 간에 전이될 수 있게 합니다.

작동 방식

HEX는 시각 및 언어 이해를 위해 Qwen-VL 백본을 사용하는 비전-언어-행동(VLA) 프레임워크입니다. 로봇 움직임을 처리하기 위해 두 가지 특수 구성 요소를 사용합니다:

1. 통합 고유수용성 예측기(UPP): 이질적인 휴머노이드 신체 상태를 공유 '신체 부위 슬롯'으로 정렬합니다.
2. 플로우 매칭 행동 헤드: 로봇의 팔, 손, 허리의 연속적인 미래 행동을 예측합니다.

배포 시 HEX는 상체와 허리의 높은 수준의 조정을 담당하고, 다리의 안정성과 움직임을 관리하는 별도의 낮은 수준의 강화 학습 기반 컨트롤러에 높은 수준의 명령을 보냅니다.

대상 독자

휴머노이드 로보틱스에 종사하는 연구자와 개발자, 특히 교차 구현 학습, 전신 제어, 비전-언어-행동 모델에 초점을 맞춘 사람들.

하이라이트

• 교차 구현 전이: 여러 휴머노이드 플랫폼(예: Unitree G1, H1, Tiangong 시리즈)의 데이터에서 예측적 신체 역학을 학습합니다.
• 전신 조정: 시각, 언어, 고유수용성을 통합하여 팔, 손, 허리의 움직임을 조정합니다.
• 광범위한 데이터셋: 처리된 다중 구현 사전 학습 데이터셋과 실제 세계 작업 데이터셋을 제공합니다.
• 하이브리드 제어 아키텍처: 높은 수준의 VLA 정책과 낮은 수준의 RL 컨트롤러를 결합하여 안정적인 휴머노이드 조작을 구현합니다.