NVlabs/GR00T-WholeBodyControl

해결하는 문제

이 프로젝트는 특히 Unitree G1을 대상으로 하는 휴머노이드 로봇의 고급 전신 제어(WBC)를 위한 프레임워크를 제공합니다. 이는 모든 사전 정의된 동작에 대해 별도의 컨트롤러를 구축할 필요 없이 자연스럽고 다재다능한 움직임(걷기, 기어가기, 점프 등)을 생성하는 문제를 해결하며, 동시에 추가적인 AI 학습을 위한 고정밀 원격 제어 및 데이터 수집을 가능하게 합니다.

작동 원리

프로젝트의 핵심은 대규모 인간 동작 데이터(Bones-SEED 데이터셋 등)로 학습된 휴머노이드 행동 기반 모델인 SONIC입니다. 경직된 프로그래밍 대신, SONIC은 모션 트래킹을 학습 작업으로 사용하여 단일 통합 정책이 광범위한 동작을 생성할 수 있도록 합니다. 시스템 구성 요소는 다음과 같습니다:

• Model Checkpoints: 응답성이 뛰어난 원격 제어를 위한 저지연 버전과 자세 안정 제어를 위한 v1.1을 포함한 다양한 버전의 SONIC 컨트롤러.
• C++ Inference Stack: 물리적 하드웨어에서 실시간 실행을 위해 TensorRT를 사용하는 고성능 배포 레이어.
• VR Teleoperation: PICO VR 헤드셋을 사용하여 인간의 움직임을 로봇에 실시간으로 전달하는 시스템.
• Kinematic Planner: 키보드 또는 게임패드를 통한 실시간 이동 생성 도구.
• MotionBricks: 애니메이션 및 로봇 공학의 인터랙티브 동작 제어를 위한 잠재 생성 모델.

대상 사용자

• 로봇 연구자: 휴머노이드 행동 모델 및 VLA(Vision-Language-Action) 워크플로우를 개발하는 연구자.
• 로봇 운영자: 데이터 수집 또는 인터랙티브 제어를 위해 고정밀 전신 원격 제어가 필요한 사용자.
• AI 엔지니어: 강화 학습(PPO) 및 대규모 동작 데이터셋을 사용하여 휴머노이드 운동 기술을 학습하거나 미세 조정하는 개발자.

주요 특징

• 기반 모델 접근 방식: 별도의 컨트롤러 대신 다양한 동작(걷기, 달리기, 무릎 꿇기, 복싱)에 단일 정책을 사용.
• VR-to-Robot 전송: 손목 포즈 트래킹을 포함한 실시간 3점 원격 제어 지원.
• 엔드투엔드 VLA 워크플로우: 원격 제어 데이터 수집, 모델 미세 조정 및 배포를 위한 파이프라인 제공.
• 고성능 배포: 실제 하드웨어에서 저지연 추론을 위한 C++ 스택 포함.
• 대규모 데이터 지원: 14.2만 개 이상의 인간 동작이 포함된 Bones-SEED 데이터셋과 호환 가능.