YanjieZe/GMR

해결하는 문제

GMR (General Motion Retargeting)은 다양한 소스(SMPL-X, BVH, FBX 또는 단안 비디오 등)에서 캡처된 인간의 동작을 휴머노이드 로봇이 실행할 수 있는 관절 명령으로 변환합니다. 이는 인체 움직임과 다양한 로봇 모델의 자유도 및 물리적 제약 사이의 간극을 메우는 문제를 해결하여, 로봇 제어를 위한 원격 조작 및 강화 학습과 같은 애플리케이션을 가능하게 합니다.

작동 방식

GMR은 인간의 동작 데이터(각 프레임에는 신체 부위별 글로벌 평행 이동 및 회전이 포함됨)를 입력받아, 로봇의 특정 구조를 고려한 리타겟팅 프로세스를 통해 로봇 동작 데이터(베이스 위치, 베이스 회전, 관절 각도)를 생성합니다. 여러 입력 형식(예: AMASS/OMOMO의 SMPL-X, LAFAN1/Nokov/Xsens의 BVH, OptiTrack의 FBX, 심지어 PICO 스트리밍)과 여러 휴머노이드 로봇(17개 이상 지원)을 지원합니다. 출력은 MuJoCo에서 시각화하거나, 비디오로 녹화하거나, 후속 사용을 위해 pickle 파일로 저장할 수 있습니다. 코드는 실시간 성능을 위해 설계되었으며 강화 학습 추적 정책과 잘 작동하도록 조정되었습니다.

대상 사용자

인간의 동작 데이터를 로봇 명령으로 변환해야 하는 휴머노이드 로봇 연구원, 로봇 공학자 및 개발자(실시간 원격 조작(TWIST/TWIST2 파이프라인 등) 또는 강화 학습 정책을 위한 훈련 데이터 생성 목적). 또한 사용자 지정 변환 코드를 작성하지 않고 기존 인간 동작 데이터 세트로 새로운 로봇을 테스트하려는 모든 사람에게 유용합니다.

주요 특징

• 실시간 고품질 리타겟팅으로 전신 원격 조작 가능.
• 강화 학습 추적 정책의 우수한 성능을 위해 세심하게 조정됨.
• 17개 이상의 휴머노이드 로봇 및 다중 동작 데이터 형식(SMPL-X, BVH, FBX, Xsens 등) 지원.
• 인자 하나만 변경하여 로봇 간 전환이 용이함.
• 배치 처리, 비디오 녹화 및 다른 형식(MimicKit용 CSV 등)으로의 변환 도구 포함.
• uv 또는 conda/pip를 통해 Ubuntu 22.04/20.04에서 실행되는 라이브러리 및 스크립트 제공.