NVlabs/ProtoMotions

해결하는 문제

ProtoMotions3는 애니메이션과 로보틱스 사이의 격차를 메우기 위해 설계된 GPU 가속 프레임워크입니다. 복잡한 운동 기술을 수행할 수 있도록 물리 기반 시뮬레이션된 디지털 인간과 인체형 로봇을 빠르게 훈련시킬 수 있는 프로토타이핑 플랫폼을 제공하며, 연구자들이 시뮬레이션에서 대규모 운동 학습을 수행한 후 실제 하드웨어로의 배포로 전환할 수 있도록 합니다.

작동 방식

이 프레임워크는 GPU 가속을 활용하여 대규모 강화학습(RL)과 운동 모방을 가능하게 합니다. NVIDIA Newton, IsaacLab, IsaacGym, MuJoCo, Genesis 등 다양한 물리 엔진을 지원하며, PyRoki를 통해 AMASS와 같은 인간 데이터셋에서 특정 로봇 형태로 운동 데이터를 리타겟팅할 수 있는 도구를 제공합니다. 제어, 관측, 보상 함수를 분리한 모듈식 설계를 채택하여 사용자가 로봇, 시뮬레이터, 또는 RL 알고리즘을 쉽게 교체할 수 있습니다.

대상 사용자

인체형 제어 정책을 개발하는 로보틱스, 컴퓨터 애니메이션, 강화학습 분야의 연구자 및 실무자에게 적합합니다.

주요 특징

• 빠른 운동 학습: 4개의 A100 GPU를 사용해 AMASS에서 수집한 40시간 이상의 인간 애니메이션 데이터를 12시간 이내에 학습 가능.
• 시뮬레이션에서 실물로의 파이프라인: ONNX 모델로 정책을 내보내어 Unitree G1 인체형 로봇과 같은 실제 하드웨어로 제로샷 전이 가능.
• 다중 시뮬레이터 테스트: 다양한 물리 엔진에서 정책을 한 번의 클릭으로 테스트하여 견고성을 확인 (Sim2Sim).
• 확장 가능한 아키텍처: 프로시저적 장면 생성, MuJoCo XML을 통한 사용자 정의 로봇 통합, MaskedMimic과 같은 생성형 정책 지원을 위한 모듈식 구성 요소.
• 텍스트에서 운동으로의 통합: NVIDIA의 Kimodo 모델과 호환되어 텍스트 프롬프트에서 물리 기반 정책을 학습할 수 있음.