LeRobot v0.6.0 リリースノート / 新機能

LeRobot v0.6.0 は、未来の状態を想像できるポリシーの統合、成功検知のための報酬モデル、および失敗をトレーニングデータに変換するデプロイ用 CLI により、ロボット学習ループを閉じることに焦点を当てています。このリリースでは、6つの新しいシミュレーションベンチマーク、深度センシングのサポート、および Hugging Face Jobs を介したクラウドトレーニング機能により、エコシステムが拡張されています。

ワールドモデルと予測ポリシー

LeRobot v0.6.0 では、トレーニング中に未来の状態を想像することを学習することで、ワールドモデルがロボットのパフォーマンスを向上させるかどうかをテストするために設計された3つのポリシーを導入しています。

VLA-JEPA

Qwen3-VL-2B に基づいて構築された VLA-JEPA は、JEPA ワールドモデルを使用して、モデルのアクションに基づいて潜在空間内の未来のフレームを予測します。ワールドモデルはトレーニング中のみ使用され、推論時には破棄されるため、追加の推論コストはゼロです。DROID 用を含む事前学習済みベースチェックポイントは、Hugging Face Hub で入手可能です。

LingBot-VA

LingBot-VA は、未来のビデオとアクションをチャンクごとに予測する自己回帰ビデオアクションモデルです。想像を具体化するために実際の観測結果を取り込んでいます。ユーザーは --policy.save_predicted_video=true フラグを使用して、ロボットが想像したロールアウトを保存し、実際の結果と比較できます。推論には 24–32 GB の VRAM を持つ GPU が必要です。

FastWAM

FastWAM は、約 5B のビデオ生成エキスパートとコンパクトなアクションエキスパートを単一のネットワーク内に組み合わせています。トレーニング中にロールアウトを「夢見る」ことを学習しますが、推論時にはこのプロセスをスキップしてアクションチャンクを直接デノイズします。lerobot/fastwam_base チェックポイントからファインチューニングが可能です。

拡張された Vision-Language-Action (VLA) モデルズー

このリリースでは、サポートされている VLA のライブラリが大幅に拡大しました：

  • GR00T N1.7: NVIDIA のクロスエンボディメント基盤モデルのアップグレードで、N1.5 に代わるものです。flow-matching アクションヘッドを備えた Cosmos-Reason2-2B (Qwen3-VL ベース) を利用しています。NVIDIA のオリジナルの Isaac-GR00T 実装との同等性テストが行われています。
  • MolmoAct2: Allen Institute for AI による VLA。LeRobot は、LoRA ファインチューニングや SO-100/101 ロボットへのゼロショットデプロイを含む、その完全なライフサイクルをサポートしています。推論は bf16 で約 12 GB の VRAM 内に収まります。
  • EO-1: 相互に配置された vision-text-action データで事前学習された VLA で、Qwen2.5-VL-3B バックボーンと flow-matching アクションヘッドを特徴としています。
  • Multitask DiT: CLIP の vision および language エンベディングを条件とする約 450M パラメータの拡散トランスフォーマーで、単一のモデルが自然言語を介して複数のタスクを学習できるようにします。
  • EVO1: InternVL3-1B バックボーンと flow-matching アクションヘッドを使用するコンパクトな 0.77B パラメータモデルで、控えめな GPU でのリアルタイム実行を想定して設計されています。

報酬モデルと成功検知

LeRobot v0.6.0 は、成功検知と進捗推定を提供するための統合された報酬モデル API (lerobot.rewards) を導入しています。

Robometer

Robometer は、Qwen3-VL-4B に基づいて構築され、100 万以上のロボットの軌跡でトレーニングされた汎用報酬モデルです。タスク固有のトレーニングを必要とせずに、生のビデオと言語指示からタスクの進捗と成功をスコアリングします。

TOPReward

TOPReward は、既存の VLM (Qwen3-VL) をラップし、軌跡と指示が与えられたときの "True" トークンの対数確率を読み取ることで、ゼロショットの報酬推定を提供します。

データセットの強化とデータロード

データセットパイプラインの改善は、柔軟性、豊かさ、および速度に焦点を当てています：

  • カスタムビデオエンコーディング: --dataset.rgb_encoder.* オプションにより、ユーザーはコーデック、品質、およびピクセルフォーマットを指定できます。vcodec=auto 設定は、AV1 にフォールバックする前にハードウェアエンコーダー (NVENC, VideoToolbox, VAAPI, QSV) を自動的に調査します。
  • エンドツーエンドの深度サポート: LeRobot は、SO-100/101、Koch、Unitree G1 を含むさまざまなロボットにわたって、深度マップ (ミリメートル単位でキャプチャされ、12ビット深度ビデオストリームとして圧縮) の記録をサポートしています。
  • VLM によるアノテーション: lerobot-annotate CLI は、VLM (Qwen2.5-VL-7B-Instruct など) を使用して、データセットのタイムスタンプ付きサブタスク、計画、および VQA ペアを自動生成します。
  • パフォーマンスの向上: 並列マルチカメラフレームデコードとコンパクトな uint8 フレームの使用により、データロードが最大 2 倍高速化しました。特定のエピソードサブセットのロードは、275 秒から 0.06 秒に短縮されました。

統合評価ベンチマーク

6 つの新しいシミュレーションベンチマークが lerobot-eval CLI を介して利用可能になり、それぞれが Docker イメージと SmolVLA ベースラインを提供します：

  • LIBERO-plus: LIBERO の 10,000 個の摂動バリアントを使用して VLA の堅牢性をテストします。
  • RoboTwin 2.0: 強力なドメインランダム化を伴う SAPIEN 上の 50 の両手操作タスクを特徴としています。
  • RoboCasa365: 2,500 の手続き的に生成されたキッチンにわたる 365 のキッチンタスクをカバーします。
  • RoboCerebra: 連鎖的なサブゴールを使用して、長期的な行動を評価します。
  • RoboMME: カウント、オブジェクト追跡、および手順の模倣をテストするメモリ試験です。
  • VLABench: 操作の知識と推論をテストします。

トレーニングとデプロイメントのワークフロー

lerobot-rollout と DAgger

デプロイメントは、lerobot-rollout CLI を介した専用のワークフローになりました。重要な機能は DAgger 戦略であり、これにより人間のオペレーターがポリシーが失敗したときに介入し、リーダーアームを使用して修正を記録し、そのフレームに intervention タグを付けることができます。このデータは、その後のファインチューニングに使用されます。

スケーラブルなトレーニング

  • FSDP サポート: Accelerate による Fully Sharded Data Parallel (FSDP) により、単一 GPU のメモリを超えるモデルのトレーニングが可能になります。パラメータ、勾配、およびオプティマイザの状態は GPU 全体にシャードされます。
  • HF Jobs: lerobot-train コマンドは、--job.target フラグを使用してクラウドで実行できるようになり、T4 から 8x H200 GPU までのハードウェアをサポートしています。

コードベースとエコシステム

  • 軽量なインストール: 基本的な依存関係が 40% 削減され、インストールフットプリントを最小限に抑えるために、機能範囲の extras (例: [training], [evaluation]) が使用されています。
  • 可視化: Foxglove との統合により、--display_mode=foxglove を介してテレオペレーションとロールアウトのストリーミングが可能になります。
  • LeLab: CLI を使用せずにキャリブレーション、記録、トレーニングを可能にするブラウザベースの GUI で、現在は SO-ARM101 をサポートしています。
  • Isaac Teleop: NVIDIA とのコラボレーションにより、Isaac Teleop スタックを通じて VR コントローラーによる SO-101 テレオペレーションが可能になります。

Sources