LeRobot v0.5.0 릴리스 노트 / 새로운 내용

LeRobot v0.5.0은 Hugging Face 로보틱스 라이브러리의 대규모 확장판으로, 인간형 하드웨어 지원, 다양한 Vision-Language-Action (VLA) 정책, 데이터 기록 및 학습에서의 큰 성능 향상을 도입합니다. 이번 릴리스는 하드웨어, 모델, 데이터 파이프라인 전반에 걸친 생태계 확장에 초점을 맞춥니다.

하드웨어 확장 및 인간형 지원

LeRobot v0.5.0은 Unitree G1 humanoid에 대한 포괄적인 지원을 도입하여 라이브러리 최초의 인간형 통합을 실현합니다. 이 지원에는 이동과 조작을 동시에 조정하는 전신 제어(WBC)와 원격 조작 및 내비게이션을 위한 전용 인터페이스가 포함됩니다.

다른 하드웨어 추가 사항은 다음과 같습니다:

  • OpenArm & OpenArm Mini: OpenArm 로봇 팔과 그에 연동되는 텔레오퍼레이터를 지원하며, 양손 구성도 포함합니다.
  • Earth Rover: 야외 내비게이션을 위한 최초의 모바일 로봇 통합.
  • OMX Robot: 보정 지원 및 설정 가능한 그리퍼 옵션을 갖춘 새로운 로봇 팔.
  • CAN Bus Motor Support: RobStride와 Damiao의 CAN 기반 모터 컨트롤러 통합으로 전문 등급 고토크 액추에이터 사용 가능.
  • SO-100/SO-101: 양손 설정 유지보수를 용이하게 하기 위해 단일 코드베이스로 구현을 통합.

새로운 정책 및 모델 줍

이번 릴리스에서는 로봇 학습 및 추론 반응성을 향상시키는 여섯 가지 새로운 정책과 기술을 추가했습니다.

Vision-Language-Action (VLA) 모델

  • Pi0-FAST: Frequency-space Action Sequence Tokenization (FAST)를 사용하는 자동회귀 VLA. Gemma 300M 기반 액션 전문가를 활용해 이산화된 액션 토큰을 생성합니다.
  • Wall-X: Qwen2.5-VL 기반 VLA 정책으로, 교차 구현 로봇 제어를 위한 flow-matching 헤드를 사용합니다.
  • X-VLA: 로봇 학습을 위한 대안 백본을 제공하는 Florence2 기반 VLA.

추론 및 학습 향상

  • Real-Time Chunking (RTC): 추론 시 새로운 예측을 진행 중인 액션과 결합하는 기술. 지연 시간을 감소시키고 Pi0 계열, SmolVLA, Diffusion과 같은 flow-matching 정책을 보다 반응적으로 만듭니다.
  • SARM (Stage-Aware Reward Modeling): 장기 과제에서 단일 전역 선형 진행 신호 대신 과제 단계와 해당 단계 내 진행 상황을 동시에 예측하는 방법.
  • PEFT Support: 대형 VLA를 이제 정책 수준 설정을 통해 LoRA 및 기타 Parameter-Efficient Fine-Tuning 방법으로 미세 조정할 수 있습니다.

데이터셋 성능 및 도구

LeRobot v0.5.0은 데이터 파이프라인을 최적화하여 기록 및 학습에서의 병목 현상을 제거했습니다.

기록 및 인코딩

  • Streaming Video Encoding: 프레임이 캡처 중 실시간으로 인코딩되어 에피소드 기록 사이의 대기 시간이 사라집니다. 이 기능은 GPU 가속을 위한 하드웨어 인코더 자동 감지를 포함합니다.
  • Encoding Speed: 병렬 인코딩이 기본값이 되어 전체 인코딩 속도가 3배 빨라졌습니다.

학습 및 관리

  • Training Speed: 데이터 접근 병목 현상 제거와 이미지 변환 지원 개선으로 이미지 학습이 10배 빨라졌습니다.
  • Dataset Tools: 계층적 학습을 위한 하위 작업 주석, 저장 효율성을 위한 이미지-비디오 변환, 데이터셋 검사를 위한 info 연산 등 새로운 기능을 제공합니다.

EnvHub 및 시뮬레이션 통합

EnvHub는 사용자가 HubEnvConfig를 사용해 Hugging Face Hub에서 직접 시뮬레이션 환경을 로드할 수 있게 합니다. 이를 통해 로컬 패키지 설치 없이 원격 make_env 함수를 다운로드하고 실행할 수 있습니다.

또한 이번 릴리스는 NVIDIA IsaacLab-Arena를 통합하여 NVIDIA Isaac Sim 기반 강화 학습을 위한 GPU 가속 대규모 병렬 환경 인스턴스를 제공합니다.

코드베이스 현대화

LeRobot v0.5.0은 최신 하드웨어 및 소프트웨어 표준을 지원하도록 기술 기반을 업데이트했습니다:

  • Core Requirements: 최소 요구 사항이 Python 3.12+로 업데이트되고 Transformers v5로 마이그레이션되었습니다.
  • Extensibility: 서드파티 정책 플러그인 지원을 통해 사용자가 pip로 설치 가능한 패키지 형태의 커스텀 정책을 핵심 라이브러리 수정 없이 등록할 수 있습니다.
  • Hardware Support: PyTorch 버전 제한이 NVIDIA Blackwell GPU를 지원하도록 업데이트되었습니다.
  • Telemetry: 원격 Rerun 시각화가 효율적인 대역폭 사용을 위해 압축 이미지 지원을 추가했습니다.

Sources