LeRobot v0.5.0 リリースノート / 新機能

LeRobot v0.5.0 は Hugging Face ロボティクスライブラリの大幅な拡張で、ヒューマノイドハードウェアのサポート、より多様な Vision‑Language‑Action (VLA) ポリシー、そしてデータ記録と学習における大幅な性能向上を実現します。このリリースはハードウェア、モデル、データパイプライン全体にわたるエコシステムのスケーリングに焦点を当てています。

ハードウェア拡張とヒューマノイドサポート

LeRobot v0.5.0 は Unitree G1 ヒューマノイド の包括的なサポートを導入し、ライブラリ初のヒューマノイド統合となります。このサポートには、歩行と操作を同時に調整する全身制御（WBC）や、遠隔操作・ナビゲーション用の専用インターフェースが含まれます。

その他のハードウェア追加は以下の通りです:

  • OpenArm & OpenArm Mini: OpenArm ロボットアームとそのテレオペレータ用コンパニオンをサポートし、二腕構成にも対応。
  • Earth Rover: 屋外ナビゲーション向けの初のモバイルロボット統合。
  • OMX Robot: キャリブレーションサポートと設定可能なグリッパーを備えた新しいロボットアーム。
  • CAN Bus Motor Support: RobStride と Damiao の CAN ベースモータコントローラを統合し、プロフェッショナルグレードの高トルクアクチュエータの使用を可能に。
  • SO-100/SO-101: 双腕セットアップの保守性向上のため、単一コードベースへの実装統合。

新しいポリシーとモデルズー

このリリースでは、ロボット学習と推論の応答性を高めるための 6 つの新ポリシーと技術が追加されました。

Vision‑Language‑Action (VLA) モデル

  • Pi0-FAST: Frequency‑space Action Sequence Tokenization (FAST) を用いた自己回帰型 VLA。Gemma 300M に基づくアクションエキスパートで離散化されたアクショントークンを生成します。
  • Wall‑X: Qwen2.5‑VL をベースにした VLA ポリシーで、クロスエンボディロボット制御のためのフローマッチングヘッドを採用。
  • X‑VLA: Florence2 を基盤とした VLA で、ロボット学習の代替バックボーンを提供。

推論とトレーニングの強化

  • Real‑Time Chunking (RTC): 推論時に新しい予測と進行中のアクションをブレンドする手法。レイテンシを低減し、Pi0 系列、SmolVLA、Diffusion などのフローマッチングポリシーをより応答的にします。
  • SARM (Stage‑Aware Reward Modeling): 長期タスク向け手法で、単一の全体的な線形進捗シグナルに依存せず、タスクのステージとそのステージ内の進捗の両方を予測します。
  • PEFT Support: 大規模 VLA も LoRA などのパラメータ効率的微調整手法で、ポリシーレベルの設定を通じてファインチューニング可能に。

データセットのパフォーマンスとツール

LeRobot v0.5.0 はデータパイプラインを最適化し、記録と学習のボトルネックを排除しました。

録画とエンコーディング

  • Streaming Video Encoding: フレームがキャプチャ時にリアルタイムでエンコードされ、エピソード録画間の待ち時間がなくなります。この機能は GPU 加速のためハードウェアエンコーダ自動検出を含みます。
  • Encoding Speed: 並列エンコーディングがデフォルトとなり、全体で 3 倍速いエンコードが実現。

トレーニングと管理

  • Training Speed: データアクセスのボトルネック除去と画像変換サポートの改善により、画像学習が 10 倍速くなりました。
  • Dataset Tools: 階層的学習のためのサブタスク注釈、保存効率化のための画像‑動画変換、データセット検査用の info 操作など新機能が追加されました。

EnvHub とシミュレーション統合

EnvHub は HubEnvConfig を使用して Hugging Face Hub からシミュレーション環境を直接ロードできるようにし、ローカルパッケージのインストール不要でリモートの make_env 関数をダウンロード・実行します。

さらに、NVIDIA IsaacLab‑Arena が統合され、NVIDIA Isaac Sim を基盤とした強化学習向けに GPU 加速・大規模並列環境インスタンスを提供します。

コードベースのモダナイゼーション

LeRobot v0.5.0 は最新ハードウェア・ソフトウェア標準をサポートするために技術基盤を更新しました:

  • Core Requirements: 最低要件を Python 3.12+ に更新し、Transformers v5 へ移行。
  • Extensibility: サードパーティ製ポリシープラグインをサポートし、pip でインストール可能なカスタムポリシーをコアライブラリを変更せずに登録可能に。
  • Hardware Support: PyTorch のバージョン範囲を更新し、NVIDIA Blackwell GPU をサポート。
  • Telemetry: リモート Rerun 可視化が圧縮画像をサポートし、帯域幅使用効率が向上。

Sources