HorizonRobotics/HoloMotion

해결하는 문제

HoloMotion은 휴머노이드 로봇 제어를 위한 엔드투엔드 프레임워크를 제공하여, 로봇이 복잡한 인간의 동작을 추적하고 희소(sparse)에서 전신(whole-body) 명령까지 따를 수 있도록 합니다. 이는 다양한 모션 캡처 데이터(VR, 관성, 시각 소스 등)와 실제 로봇 실행 사이의 간극을 메워주며, 사용자별 훈련 없이도 고성능 원격 조작 및 동작 모방을 가능하게 합니다.

작동 원리

이 프로젝트는 참조 조건부 전문가 혼합(MoE) Transformer 아키텍처를 사용합니다. HoloSMPL 모듈을 통해 다양한 입력 소스를 공유 SMPL 기반 표현으로 표준화합니다. 그 후 HoloRetarget 구성 요소가 이러한 동작을 특정 로봇 참조로 변환합니다. 이 시스템은 실시간 추론을 지원하여, 전신 동작 시퀀스나 희소 키포인트 명령(예: 골반 및 손목)을 기반으로 로봇 관절을 제어하기 위해 로봇 내부 또는 시뮬레이션에서 정책을 직접 실행할 수 있습니다.

대상 사용자

이 프로젝트는 휴머노이드 이동, 원격 조작, 전신 제어를 연구하는 로봇 공학 연구원 및 엔지니어를 위해 설계되었습니다. G1 휴머노이드와 같은 하드웨어에 사전 훈련된 동작 추적 정책을 배포하려는 사용자나 로봇 훈련을 위한 동작 데이터를 처리할 표준화된 파이프라인이 필요한 사용자에게 특히 유용합니다.

주요 특징

• 통합 파이프라인: 동작 데이터 수집 및 리타겟팅부터 정책 훈련 및 실제 로봇 배포까지 전체 워크플로우를 다룹니다.
• 고성능 추론: 실시간 제어에 최적화되어 로봇에서 300+ FPS를 달성하며 시퀀스 수준의 훈련을 지원합니다.
• 유연한 제어: 단일 정책 내에서 골반 전용 및 다중 지점 키포인트 추적을 포함한 여러 명령 모드를 지원합니다.
• 크로스 플랫폼 호환성: 다양한 모션 캡처 입력을 통합하는 도구를 제공하며 시뮬레이션 환경 및 물리적 하드웨어 전반에 걸친 배포를 지원합니다.