LeRobot v0.4.0 릴리즈 노트 / 새로운 내용

LeRobot v0.4.0은 로봇 학습의 확장성, 유연성 및 접근성을 높이기 위해 설계된 오픈소스 로봇 공학 라이브러리의 주요 업데이트입니다. 이번 릴리즈에서는 새롭게 개편된 데이터셋 인프라, 고용량 Vision‑Language‑Action (VLA) 모델, 그리고 하드웨어 통합을 위한 모듈형 플러그인 시스템을 도입했습니다.

Datasets v3.0를 활용한 확장 가능한 데이터 인프라

LeRobot v0.4.0은 LeRobotDataset v3.0을 도입하여 대규모 로봇 학습을 지원하도록 데이터셋 인프라를 전면 개편했습니다. 이 버전은 Open X Embodiment (OXE)와 Droid와 같이 400GB를 초과하는 데이터셋을 처리하도록 특별히 설계되었습니다.

v3.0의 주요 개선 사항

  • Chunked Episode Format: OXE 수준의 대규모 데이터셋 처리를 가능하게 합니다.
  • Streaming Capabilities: 더 빠른 로딩 시간과 비디오 데이터의 원활한 스트리밍을 제공합니다.
  • Unified Parquet Metadata: 분산된 JSON 파일을 구조화된 Parquet 파일로 교체하여 메타데이터 관리를 간소화합니다.
  • Performance Gains: 데이터셋 초기화 시간을 단축하고 메모리 효율성을 향상시킵니다.

데이터셋 편집 도구

새로운 lerobot-edit-dataset CLI를 통해 사용자는 다음과 같은 작업으로 데이터셋을 정제하고 최적화할 수 있습니다:

  • 특정 에피소드를 삭제합니다.
  • 데이터셋을 비율 또는 에피소드 인덱스로 분할합니다.
  • 특성을 추가하거나 제거합니다.
  • 여러 데이터셋을 하나의 통합된 세트로 병합합니다.

확장된 시뮬레이션 환경

LeRobot은 이제 로봇 정책의 학습 및 평가를 촉진하기 위해 시뮬레이션 벤치마크에 대한 지원을 확대했습니다.

  • LIBERO Support: 130개 이상의 작업을 포함하는 VLA 정책을 위한 오픈 벤치마크인 LIBERO를 통합하여 VLA 평가를 위한 통합 환경을 구축했습니다.
  • Meta-World Integration: 50개 이상의 작업을 포함하는 다중 작업 조작 벤치마크인 Meta-World를 통합했습니다. 이는 gymnasium ≥ 1.0.0 및 mujoco ≥ 3.0.0의 표준 사용을 통해 결정론적 시드 설정을 보장합니다.

코드베이스 및 학습 최적화

모듈형 데이터 처리 파이프라인

원시 센서 데이터와 모델 요구사항 사이의 격차를 메우기 위해 LeRobot v0.4.0은 Processors를 도입했습니다. 이 모듈형 파이프라인 시스템은 ProcessorStep 구성 요소를 사용하여 정규화, 토크나이징, 디바이스 이동과 같은 작업을 처리합니다.

두 가지 특화된 파이프라인 유형이 제공됩니다:

  • PolicyProcessorPipeline: 고성능 학습 및 추론에 사용되는 배치 텐서를 최적화합니다.
  • RobotProcessorPipeline: 개별 데이터 포인트를 활용한 실시간 로봇 제어를 위해 설계되었습니다.

다중 GPU 학습

학습은 이제 Hugging Face Accelerate와 통합되어, 단일 명령으로 여러 GPU에 걸쳐 실험을 확장할 수 있습니다. 이를 통해 사용된 GPU 수에 비례하여 학습 시간이 감소합니다(예: 2 GPU 사용 시 학습 시간이 절반으로 단축).

오픈 월드 일반화 정책

LeRobot v0.4.0은 다양한 환경에서 로봇의 추론 및 일반화를 향상시키기 위해 여러 최첨단 기반 모델을 통합했습니다.

PI0 및 PI0.5

Physical Intelligence에서 개발한 이 VLA 모델들은 오픈 월드 일반화를 목표로 설계되었습니다. 특히 PI0.5는 다중 모달 웹 데이터, 구두 지시, 다중 환경 로봇 데이터를 공동 학습함으로써 새로운 환경에 적응하는 능력이 뛰어납니다.

GR00T N1.5

NVIDIA와의 협업을 통해 통합된 GR00T N1.5는 크로스‑임베디언트 기반 모델입니다. 언어와 이미지와 같은 다중 모달 입력을 활용해 복잡한 조작 작업을 수행하며, 실제 인간형 데이터, NVIDIA Isaac GR00T Blueprint에서 생성된 합성 데이터, 그리고 인터넷 규모의 비디오 데이터를 결합해 학습되었습니다.

하드웨어 통합 및 플러그인 시스템

LeRobot은 pip install을 통해 핵심 라이브러리를 수정하지 않고도 서드파티 하드웨어를 통합할 수 있는 플러그인 시스템을 도입했습니다. 이 시스템은 확장성을 높이고 핵심 라이브러리의 비대화를 방지합니다.

새로운 하드웨어 통합

  • Reachy 2: Pollen Robotics의 Reachy 2에 대한 지원을 추가하여 실제 제어와 시뮬레이션 모두를 지원합니다.
  • Mobile Teleoperation: 새로운 파이프라인 시스템을 활용해 iOS 또는 Android 기기로 팔을 원격 조종할 수 있으며, RobotProcessor가 필요한 액션 스페이스 변환을 처리합니다.

교육 자료

Hugging Face는 오픈소스 Robot Learning Course와 Modern Robot Learning Tutorial을 출시했습니다. 코스는 고전 로봇공학, 모방 학습을 위한 생성 모델(VAE, diffusion) 및 강화 학습을 다루며, 튜토리얼은 실습 중심의 원리 기반 접근법을 제공하고 바로 사용할 수 있는 코드 예제를 포함합니다.

Sources