NVIDIA Isaac GR00T N1.5: LeRobot SO-101 팔을 위한 사후 학습

NVIDIA는 Isaac GR00T N1.5의 제공을 발표했습니다. 이는 GR00T N1 기본 모델에 대한 첫 번째 주요 업데이트입니다. 이 크로스-임베디엄 모델은 개발자가 언어와 이미지 등 멀티모달 입력을 처리하여 다양한 환경에서 조작 작업을 수행할 수 있게 하며, 특정 로봇 하드웨어, 작업 및 환경에 맞게 사후 학습할 수 있는 기능을 제공합니다.

EmbodimentTag를 통한 크로스-임베디엄 적응

Isaac GR00T N1.5는 EmbodimentTag 시스템을 활용하여 다양한 로봇 플랫폼에 걸친 원활한 맞춤화를 가능하게 합니다. 이 시스템을 통해 모델을 원래 사전 학습되지 않은 하드웨어, 예를 들어 저렴하고 오픈소스인 LeRobot SO-101 팔에 맞게 적용할 수 있습니다. 로봇을 new_embodiment로 지정함으로써 개발자는 기본 모델의 추론 및 조작 능력을 자신의 하드웨어 구성에 맞게 미세 조정할 수 있습니다.

LeRobot SO-101을 위한 사후 학습 워크플로우

GR00T N1.5를 SO-101 팔에 적용하려면 데이터셋 준비부터 실제 배포까지 구조화된 파이프라인이 필요합니다.

데이터셋 준비 및 호환성

미세 조정에는 so101-table-cleanup 데이터셋과 같은 호환 가능한 데이터셋이 필요합니다. 데이터셋을 “GR00T-호환”으로 만들기 위해서는 상태와 행동 모달리티에 대한 필수 정보를 제공하는 modality.json 파일을 구성해야 합니다. 단일 카메라 설정에서는 특정 모달리티 구성을 사용하고, 듀얼 카메라 설정에서는 다른 구성 파일이 필요합니다.

미세 조정 과정

모델은 scripts/gr00t_finetune.py 스크립트를 사용하여 미세 조정됩니다. 학습 시 주요 기술 고려 사항은 다음과 같습니다:

  • VRAM 요구 사항: 기본 설정은 약 25GB의 VRAM을 필요로 합니다. VRAM이 적은 사용자는 --no-tune_diffusion_model 플래그를 사용하여 메모리 사용량을 줄일 수 있습니다.
  • 학습 파라미터: 예시 구성으로는 단일 GPU 사용, max-steps 설정(예: 10,000), 그리고 data-config 지정(예: so100_dualcam) 등이 있습니다.

평가 및 배포

실제 배포 전에 정책은 scripts/eval_policy.py를 사용하여 오픈 루프 환경에서 평가됩니다. 검증이 완료되면 모델은 scripts/inference_service.py를 통해 추론 서버로 배포되며, 이 서버는 클라이언트 스크립트를 통해 물리적인 로봇 팔과 통신합니다. 이를 통해 로봇은 “펜을 잡아 펜꽂이에 넣어라”와 같은 언어 명령에 따라 작업을 수행할 수 있습니다.

커뮤니티 인사이트 및 기술 최적화

출시 이후, 커뮤니티 구성원과 NVIDIA 저자들은 모델 성능을 향상시키기 위한 여러 최적화 전략을 강조했습니다:

  • Reducing Motion Jerk: 끊김 현상을 해결하기 위해 NVIDIA는 전체 전문가 헤드가 튜닝되도록 --no-tune_diffusion_model 플래그를 제거하고 data_config.py를 통해 행동 지평을 늘릴 것을 제안합니다. 커뮤니티 사용자들은 또한 복잡한 작업을 위해 디노이징 스텝을 16으로 늘리고 행동 지평을 16으로 설정할 것을 권장합니다.
  • Dataset Versions: 현재 구현은 주로 LeRobot 데이터셋 v2를 지원합니다. v3 데이터셋을 가진 사용자는 이를 v2로 변환하거나 GR00T N1.5가 통합되어 v3를 지원하는 LeRobot 저장소를 사용할 필요가 있습니다.
  • Generalization: 일부 사용자는 모델이 과도하게 학습될 경우 텍스트 프롬프트를 무시하고 데이터셋의 단일 행동에 고정될 수 있다고 보고했으며, 이는 과적합을 방지하기 위해 max-steps를 균형 있게 조정할 필요가 있음을 시사합니다.

"복잡한 작업을 수행하는 모든 사람에게는 최소한 디노이징 스텝을 16으로 하고 행동 지평도 16으로 설정할 것을 권장합니다. 이것이 제가 좋은 결과를 얻은 유일한 경우였습니다."

사용 가능한 리소스

  • Model: nvidia/GR00T-N1.5-3B 모델은 Hugging Face에서 제공됩니다.
  • Code: 미세 조정 스크립트와 샘플 데이터셋은 Isaac-GR00T GitHub repository 에 호스팅됩니다.
  • Datasets: 예시 데이터셋으로는 youliangtan/so101-table-cleanup와 youliangtan/so100_strawberry_grape가 있습니다.

Sources