NVlabs/GR00T-WholeBodyControl

해결하는 문제

이 프로젝트는 인체형 로봇의 전신 제어(WBC)를 통합적으로 제공하며, 특히 Unitree G1을 대상으로 합니다. 걷기, 기어가기, 점프하기와 같은 특정 동작마다 별도의 제어기를 개발해야 하는 문제를 해결하기 위해, 다양한 인간과 유사한 동작에 일반화할 수 있는 일반화된 행동 기반 모델을 제공합니다.

작동 방식

이 프로젝트의 핵심은 대규모 인간 동작 데이터(예: Bones-SEED 데이터셋)로 훈련된 인체형 행동 기반 모델인 SONIC입니다. 사전 정의된 동작이 아닌, 동작 추적을 확장 가능한 학습 작업으로 사용함으로써 단일 정책이 자연스러운 동작을 생성할 수 있습니다.

시스템은 다음과 같은 배포 모드를 지원합니다:

• C++ 추론 스택: TensorRT를 사용한 실제 하드웨어에 대한 고성능 배포.
• VR 원격 조작: PICO VR 헤드셋을 사용한 실시간 인간에서 로봇으로의 동작 전달(데이터 수집 및 제어용).
• 운동학 플래너: 사용자가 키보드나 게임패드로 로봇을 조종하고, 이동 스타일(예: "스텔스", "복싱")을 조정할 수 있는 실시간 보행 생성 도구.
• 분리형 WBC: 하체에는 강화학습(RL), 상체에는 역운동학(IK)을 사용하는 하이브리드 접근 방식.

대상 사용자

인체형 로봇(특히 Unitree G1)을 다루는 로봇 연구자 및 개발자로, 고급 운동 기술, 원격 조작 기능, 시각-언어-행동(VLA) 모델 학습을 위한 데이터 수집 파이프라인을 필요로 하는 분들입니다.

주요 특징

• 일반화된 컨트롤러: 걷기, 달리기, 무릎 꿇기, 점프, 양손 조작을 하나의 모델로 수행 가능.
• 저지연 옵션: 반응성이 뛰어난 원격 조작 및 VLA 실행에 최적화된 특정 모델 체크포인트 제공.
• 포괄적인 도구 세트: PPO용 학습 스크립트, 모션 캡처 데이터 처리 파이프라인, C++ 배포 스택 포함.
• MotionBricks: 애니메이션 및 로봇 공학에서 인터랙티브한 동작 제어를 위한 실시간 잠재 생성 모델의 사전 데모.