CuboiLeo/SuperMimic-Reproduced

해결 과제

이 프로젝트는 복잡한 전신 동작을 수행하는 휴머노이드 로봇 훈련에 중점을 둔 "SuperMimic" 연구 논문을 처음부터 독립적으로 재현한 것입니다. 미분 가능한 세계 모델을 사용하여 휴머노이드 제어 확장 문제를 해결하며, 로봇이 점프, 회전, 기어가기와 같은 다양한 동작을 대규모 모션 데이터셋에서 직접 학습할 수 있도록 합니다.

작동 원리

이 시스템은 미분 가능한 세계 모델을 사용하여 로봇의 환경을 시뮬레이션하고 미래 상태를 예측합니다. BPTT (Backpropagation Through Time)를 사용하여 정책을 훈련함으로써, 로봇은 동작 시퀀스를 "상상"하고 이를 참조 모션 라이브러리와 비교하여 최적화함으로써 학습할 수 있습니다. 이 구현은 MuJoCo Warp 및 mjlab을 기반으로 하며, 사용자 정의 모션 라이브러리, 미분 가능한 운동학, 데이터 병렬 훈련을 활용하여 Unitree G1 로봇에서 고성능을 달성합니다.

대상 사용자

이 프로젝트는 휴머노이드 전신 제어, 미분 가능한 시뮬레이션, 모델 기반 강화 학습에 관심이 있는 연구원 및 로봇 공학자를 위한 것입니다. SuperMimic 논문의 결과를 재현하거나 특정 훈련 프로토콜 및 세계 모델 아키텍처를 기반으로 연구하려는 사람들을 위한 참조 구현 역할을 합니다.

주요 특징

• 고성능 재현: BONES-SEED 데이터셋에서 0.930의 정규화된 리턴을 달성하여 논문의 성능과 매우 유사한 결과를 보여줍니다.
• 전체 파이프라인 구현: 데이터 처리 및 모션 라이브러리 구축부터 미분 가능한 세계 모델, BPTT 트레이너, 평가 벤치마크까지 모든 것을 포함합니다.
• 최적화된 훈련: 여러 GPU에 걸친 데이터 병렬 훈련을 지원하며, RTX 5090에서 높은 시뮬레이션 속도(약 2×10⁵ env-steps/s)를 달성합니다.
• 투명한 문서화: 상세한 로그, 설계 결정 사항, 그리고 코드가 원본 연구 논문의 특정 섹션과 어떻게 매핑되는지에 대한 분석을 제공합니다.