LeRobot v0.4.0 リリースノート / 新機能

LeRobot v0.4.0 は、ロボット学習のスケーラビリティ、柔軟性、アクセシビリティを向上させることを目的としたオープンソースのロボティクスライブラリの大規模アップデートです。このリリースでは、刷新されたデータセットインフラストラクチャ、新しい高容量の Vision-Language-Action (VLA) モデル、ハードウェア統合のためのモジュラープラグインシステムが導入されます。

Datasets v3.0 によるスケーラブルなデータインフラストラクチャ

LeRobot v0.4.0 は LeRobotDataset v3.0 を導入し、データセットインフラストラクチャを刷新して大規模なロボット学習をサポートします。このバージョンは、Open X Embodiment (OXE) や Droid など、400GB を超えるデータセットを扱えるよう特別に設計されています。

v3.0 の主な強化点

  • Chunked Episode Format: OXE レベルの大規模データセットの取り扱いを可能にします。
  • Streaming Capabilities: 読み込み時間を短縮し、ビデオデータのシームレスなストリーミングを提供します。
  • Unified Parquet Metadata: 散在する JSON ファイルを構造化された Parquet ファイルに置き換え、メタデータ管理を効率化します。
  • Performance Gains: データセットの初期化時間を短縮し、メモリ効率を向上させます。

データセット編集ツール

新しい lerobot-edit-dataset CLI により、ユーザーは以下の操作でデータセットをキュレーションおよび最適化できます。

  • 特定のエピソードの削除。
  • データセットを割合またはエピソードインデックスで分割。
  • フィーチャーの追加または削除。
  • 複数のデータセットを単一の統合セットにマージ。

拡張されたシミュレーション環境

LeRobot は、ロボットポリシーのトレーニングと評価を支援するために、シミュレーションベンチマークのサポートを拡大しました。

  • LIBERO Support: 130 以上のタスクを備えた VLA ポリシー向けオープンベンチマークである LIBERO を統合し、VLA 評価の統一されたセットアップを実現します。
  • Meta-World Integration: 50 以上のタスクを持つマルチタスク操作ベンチマークである Meta-World を統合します。決定的なシードを保証するために、gymnasium ≥ 1.0.0 と mujoco ≥ 3.0.0 の標準化された使用がサポートされています。

コードベースとトレーニングの最適化

モジュラーデータ処理パイプライン

生センサーデータとモデル要件のギャップを埋めるために、LeRobot v0.4.0 は Processors を導入します。このモジュラーパイプラインシステムは ProcessorStep コンポーネントを使用して、正規化、トークナイゼーション、デバイスへの転送などのタスクを処理します。

以下の 2 つの専門パイプラインタイプが提供されます。

  • PolicyProcessorPipeline: 高性能トレーニングおよび推論で使用されるバッチ化テンソルに最適化されています。
  • RobotProcessorPipeline: 個々のデータポイントを使用したリアルタイムロボット制御向けに設計されています。

マルチGPUトレーニング

トレーニングは Hugging Face の Accelerate と統合され、単一コマンドで複数 GPU に実験をスケールできるようになりました。使用する GPU の数に比例してトレーニング時間が短縮されます（例：2 GPU で時間が半分になる）。

オープンワールド汎化ポリシー

LeRobot v0.4.0 は、ロボットの推論と多様な環境での汎化を向上させるために、最先端の基盤モデルを複数統合しています。

PI0 と PI0.5

Physical Intelligence によって開発されたこれらの VLA モデルは、オープンワールド汎化を目的としています。PI0.5 は、マルチモーダルウェブデータ、口頭指示、マルチ環境ロボットデータの多様な組み合わせで共同トレーニングすることで新しい環境に適応できる点が特に注目されています。

GR00T N1.5

NVIDIA との協業により統合された GR00T N1.5 は、クロスエンボディメント基盤モデルです。言語と画像というマルチモーダル入力を活用して複雑な操作タスクを実行し、実際のヒューマノイドデータ、NVIDIA Isaac GR00T Blueprint の合成データ、インターネット規模のビデオデータの組み合わせでトレーニングされています。

ハードウェア統合とプラグインシステム

LeRobot は、コアライブラリを変更せずに pip install でサードパーティハードウェアを統合できるプラグインシステムを導入しました。このシステムは拡張性を高め、コアライブラリの肥大化を防ぎます。

新しいハードウェア統合

  • Reachy 2: Pollen Robotics の Reachy 2 を実世界制御とシミュレーションの両方でサポートします。
  • Mobile Teleoperation: 新しいパイプラインシステムを使用して、ユーザーは iOS または Android デバイスを介してフォロワーアームを遠隔操作でき、RobotProcessor が必要なアクション空間変換を処理します。

教育リソース

Hugging Face はオープンソースの Robot Learning Course と Modern Robot Learning Tutorial を開始しました。コースは古典的ロボティクス、模倣学習のための生成モデル（VAE、拡散）、強化学習をカバーします。チュートリアルは、実践的で原理主義的なアプローチで最新技術を紹介し、すぐに使えるコード例を提供します。

Sources