NVIDIA/Isaac-GR00T

NVIDIA Isaac GR00T N1.7 – 인간형 로봇을 위한 시각-언어-행동 모델

무엇인가요 – GR00T(Genral-purpose Robot-learning Transformer)는 오픈소스 시각-언어-행동(VLA) 모델로, 비디오 프레임과 자연어 지시를 입력받아 연속적인 로봇 동작을 출력합니다. 이 모델은 다양한 로봇 구조에 대응하도록 설계되었으며, 이중 팔 로봇에서부터 전신 인간형 로봇까지 동일한 가중치로 다양한 조작 장치를 제어할 수 있습니다.

왜 중요한가요 – 로봇 시연 데이터와 20,000시간의 인간 중심 영상(EgoScale)을 혼합하여 학습함으로써, 인간의 움직임에서 로봇 제어로의 전이가 가능한 조작 사전 지식을 학습합니다. 최신 GA 릴리스(N1.7)에서는 시각 백본을 Cosmos-Reason2-2B / Qwen3-VL 기반 모델로 업그레이드하고, 상대적 엔드 에펙터(EEF) 행동 공간으로 전환하여, 다양한 운동학 구조를 가진 로봇에 적용했을 때 정책의 강건성을 향상시켰습니다.

주요 구성 요소

• 백본 – 이미지를 원본 비율로 인코딩하는 Cosmos-Reason2-2B(Qwen3-VL 시각-언어 모델)
• 행동 헤드 – 확산-트랜스포머(DiT)로 연속 행동 시퀀스를 노이즈 제거하며, 현재는 40단계의 예측 화이저를 지원
• 데이터 포맷 – LeRobot v2 parquet 기반 데이터셋을 사용하며, modality.json 파일로 원시 상태/행동 벡터를 이름 기반 필드(예: 관절 각도, 그립퍼)로 매핑. 동일한 코드로 다양한 로봇 형태를 처리 가능
• 에모디먼트 태그 – LIBERO_PANDA, OXE_DROID_RELATIVE_EEF_RELATIVE_JOINT와 같은 태그는 특정 로봇의 상태/행동 레이아웃을 어떻게 해석할지 모델에 알려줍니다.

사용 방법

1. 설치 – 하위 모듈 포함 클론 후 git-lfs 설치, uv 도구(또는 pip)로 환경 설정. 비디오 디코딩은 torchcodec에 의존하므로 GPU 드라이버(CUDA 12.8/13.x)와 FFmpeg 4-7 필요
2. 추론 실행 – 체크포인트(예: nvidia/GR00T-N1.7-3B) 로드 후 Gr00tPolicy API 호출, 데이터셋과 적절한 --embodiment-tag 제공. 노트북(GR00T_inference.ipynb)은 DROID 샘플 데이터에서의 제로샷 데모를 단계별로 안내
3. 파인튜닝 – 자신의 시연 데이터(LeRobot 형식으로 변환)를 사용해 launch_finetune.py 실행. 여러 데이터셋 경로를 혼합하고 ds_weights_alpha로 가중치 조절 가능
4. 평가 – 오픈루프 평가 스크립트로 예측 행동과 진짜 값 비교. 시뮬레이션 벤치마크(RoboCasa, SimplerEnv) 및 실제 하드웨어 테스트 제공
5. 배포 – 제공된 스크립트로 모델을 ONNX 또는 TensorRT로 내보내고, Gr00tPolicy를 어떤 로봇 컨트롤러에도 통합 가능. DGX Spark, Jetson Thor, Jetson Orin용 플랫폼별 Dockerfile 포함

사용 가능한 체크포인트 – 기준 3B 파라미터 모델(GR00T-N1.7-3B)은 사전 학습된 에모디먼트에서 제로샷 작동 가능. LIBERO(Franka Panda), DROID, SimplerEnv(WidowX, Google Robot)용 여러 파인튜닝 체크포인트 제공

문서 및 지원 – 하드웨어 요구사항, 데이터 준비, 파인튜닝, 평가, 배포에 대한 상세 가이드 포함. 상용 지원과 안정적인 Apache-2.0 라이선스는 프로덕션 사용에 제공

---

결론 – GR00T N1.7은 시각, 언어, 연속적 로봇 제어를 연결하는 진정한 프로덕션 대응 AI 모델로, 연구자와 엔지니어가 다양한 로봇 본체에 걸쳐 일반적인 조작 기술을 프로토타이핑하고 배포할 수 있도록 합니다.