LeRobot v0.6.0 릴리스 노트 / 새로운 기능

LeRobot v0.6.0은 미래 상태를 상상할 수 있는 정책(policies), 성공 탐지를 위한 보상 모델, 그리고 실패를 학습 데이터로 변환하는 배포 CLI를 통합하여 로봇 학습 루프를 완성하는 데 중점을 둡니다. 이번 릴리스는 6개의 새로운 시뮬레이션 벤치마크, 깊이 감지(depth sensing) 지원, 그리고 Hugging Face Jobs를 통한 클라우드 학습 기능을 통해 생태계를 확장합니다.

월드 모델 및 예측 정책 (World Models and Predictive Policies)

LeRobot v0.6.0은 학습 중에 미래 상태를 상상하는 법을 배움으로써 월드 모델이 로봇의 성능을 향상시키는지 테스트하도록 설계된 세 가지 정책을 도입합니다.

VLA-JEPA

Qwen3-VL-2B를 기반으로 구축된 VLA-JEPA는 JEPA 월드 모델을 사용하여 모델의 행동에 따라 잠재 공간(latent space)에서 미래 프레임을 예측합니다. 월드 모델은 학습 중에만 사용되고 추론 시에는 폐기되므로 추가적인 추론 비용이 발생하지 않습니다. DROID용을 포함한 사전 학습된 베이스 체크포인트는 Hugging Face Hub에서 사용할 수 있습니다.

LingBot-VA

LingBot-VA는 미래의 비디오와 행동을 청크(chunk) 단위로 예측하는 자기회귀(autoregressive) 비디오-액션 모델입니다. 상상을 구체화하기 위해 실제 관측값을 통합합니다. 사용자는 --policy.save_predicted_video=true 플래그를 통해 로봇이 상상한 롤아웃(rollouts)을 저장하여 실제 결과와 비교할 수 있습니다. 추론에는 24–32 GB의 VRAM을 갖춘 GPU가 필요합니다.

FastWAM

FastWAM은 단일 네트워크 내에 약 5B 규모의 비디오 생성 전문가와 소형 액션 전문가를 결합합니다. 학습 중에는 롤아웃을 "꿈꾸는" 법을 배우지만, 추론 시에는 이 과정을 건너뛰고 액션 청크를 직접 디노이징(denoise)합니다. lerobot/fastwam_base 체크포인트로부터 미세 조정(fine-tuning)할 수 있습니다.

확장된 시각-언어-행동 (VLA) 모델 주 (Model Zoo)

이번 릴리스는 지원되는 VLA 라이브러리를 대폭 확장했습니다:

  • GR00T N1.7: NVIDIA의 교차 체형(cross-embodiment) 파운데이션 모델의 업그레이드로, N1.5를 대체합니다. flow-matching 액션 헤드를 가진 Cosmos-Reason2-2B(Qwen3-VL 기반)를 활용합니다. NVIDIA의 기존 Isaac-GR00T 구현과 동등성 테스트를 완료했습니다.
  • MolmoAct2: Allen Institute for AI의 VLA입니다. LeRobot은 이제 LoRA 미세 조정 및 SO-100/101 로봇에서의 제로샷 배포를 포함한 전체 라이프사이클을 지원합니다. 추론은 bf16 기준 약 12 GB의 VRAM 내에서 가능합니다.
  • EO-1: 교차된 시각-텍스트-액션 데이터로 사전 학습된 VLA로, Qwen2.5-VL-3B 백본과 flow-matching 액션 헤드를 특징으로 합니다.
  • Multitask DiT: CLIP 시각 및 언어 임베딩을 조건으로 하는 약 450M 파라미터의 확산 트랜스포머(diffusion transformer)로, 단일 모델이 자연어를 통해 여러 작업을 학습할 수 있도록 합니다.
  • EVO1: InternVL3-1B 백본과 flow-matching 액션 헤드를 사용하는 0.77B 파라미터의 소형 모델로, 보급형 GPU에서 실시간 실행이 가능하도록 설계되었습니다.

보상 모델 및 성공 탐지 (Reward Models and Success Detection)

LeRobot v0.6.0은 성공 탐지 및 진행도 추정을 제공하기 위해 통합 보상 모델 API(lerobot.rewards)를 도입합니다.

Robometer

Robometer는 Qwen3-VL-4B를 기반으로 구축되었으며, 100만 개 이상의 로봇 궤적(trajectories)으로 학습된 범용 보상 모델입니다. 작업별 학습 없이도 원본 비디오와 언어 지침으로부터 작업 진행도와 성공 여부를 점수화합니다.

TOPReward

TOPReward는 기성 VLM(Qwen3-VL)을 래핑하여 궤적과 지침이 주어졌을 때 "True" 토큰의 로그 확률(log-probability)을 읽음으로써 제로샷 보상 추정을 제공합니다.

데이터셋 개선 및 데이터 로딩

데이터셋 파이프라인의 개선은 유연성, 풍부함 및 속도에 중점을 둡니다:

  • 사용자 정의 비디오 인코딩: --dataset.rgb_encoder.* 옵션을 통해 사용자가 코덱, 품질 및 픽셀 형식을 지정할 수 있습니다. vcodec=auto 설정은 AV1으로 폴백(fallback)하기 전에 하드웨어 인코더(NVENC, VideoToolbox, VAAPI, QSV)를 자동으로 탐색합니다.
  • 엔드 투 엔드 깊이 지원: LeRobot은 이제 SO-100/101, Koch, Unitree G1을 포함한 다양한 로봇에서 깊이 맵(밀리미터 단위로 캡처되고 12비트 깊이 비디오 스트림으로 압축됨)을 기록하는 것을 지원합니다.
  • VLM 기반 주석(Annotation): lerobot-annotate CLI는 VLM(예: Qwen2.5-VL-7B-Instruct)을 사용하여 데이터셋에 대한 타임스탬프가 포함된 서브태스크, 계획 및 VQA 쌍을 자동으로 생성합니다.
  • 성능 향상: 병렬 멀티 카메라 프레임 디코딩과 컴팩트한 uint8 프레임 사용 덕분에 데이터 로딩 속도가 최대 2배 빨라졌습니다. 특정 에피소드 하위 집합을 로드하는 시간이 275초에서 0.06초로 단축되었습니다.

통합 평가 벤치마크

6개의 새로운 시뮬레이션 벤치마크를 lerobot-eval CLI를 통해 사용할 수 있으며, 각 벤치마크는 Docker 이미지와 SmolVLA 베이스라인을 제공합니다:

  • LIBERO-plus: LIBERO의 10,000개 변형된 변동성을 통해 VLA의 강건성(robustness)을 테스트합니다.
  • RoboTwin 2.0: 강력한 도메인 무작위화(domain randomization)가 적용된 SAPIEN 상의 50가지 양손 조작 작업을 특징으로 합니다.
  • RoboCasa365: 2,500개의 절차적 생성 주방에 걸친 365가지 주방 작업을 다룹니다.
  • RoboCerebra: 체인된 서브 목표를 사용하여 장기적 행동(long-horizon behavior)을 평가합니다.
  • RoboMME: 개수 세기, 객체 추적 및 절차 모방을 테스트하는 메모리 시험입니다.
  • VLABench: 조작 지식 및 추론 능력을 테스트합니다.

학습 및 배포 워크플로우

lerobot-rollout 및 DAgger

배포는 이제 lerobot-rollout CLI를 통한 전용 워크플로우로 제공됩니다. 핵심 기능은 DAgger 전략으로, 정책이 실패할 때 인간 작업자가 개입하여 리더 암(leader arm)을 사용하여 수정을 기록하고 해당 프레임에 intervention 태그를 달 수 있게 합니다. 이 데이터는 이후 미세 조정에 사용됩니다.

확장 가능한 학습

  • FSDP 지원: Accelerate를 통한 Fully Sharded Data Parallel (FSDP)을 통해 단일 GPU 메모리를 초과하는 모델의 학습이 가능합니다. 파라미터, 그래디언트 및 옵티마이저 상태가 GPU 간에 샤딩(sharded)됩니다.
  • HF Jobs: lerobot-train 명령어를 이제 --job.target 플래그를 사용하여 클라우드에서 실행할 수 있으며, T4부터 8x H200 GPU까지의 하드웨어를 지원합니다.

코드베이스 및 생태계

  • 가벼운 설치: 기본 종속성이 40% 감소했으며, 설치 크기를 최소화하기 위해 기능별 extras(예: [training], [evaluation])가 사용됩니다.
  • 시각화: Foxglove와의 통합을 통해 --display_mode=foxglove로 원격 조종 및 롤아웃을 스트리밍할 수 있습니다.
  • LeLab: CLI를 사용하지 않고도 캘리브레이션, 녹화 및 학습을 가능하게 하는 브라우저 기반 GUI로, 현재 SO-ARM101을 지원합니다.
  • Isaac Teleop: NVIDIA와의 협업을 통해 Isaac Teleop 스택을 통해 VR 컨트롤러로 SO-101 원격 조종이 가능합니다.

Sources