LeRobot v0.6.0 リリースノート

LeRobot v0.6.0 リリースノート

ワールドモデル：想像するポリシー

LeRobot v0.6.0 では、トレーニング中に将来のフレームを予測することを学習しながら、推論時のコストを増加させない3つのワールドモデル・ポリシーを導入しています。

VLA-JEPA

VLA-JEPA は、コンパクトな VLA (Qwen3-VL-2B に基づく) に、行動を学習しながら潜在空間で未来を予測することを教えます。トレーニング中、JEPA ワールドモデルはモデル自身の行動から次に続くフレームを予測します。このワールドモデルは推論時には消失するため、追加の推論コストなしでワールドモデルによる教師あり学習が可能です。Hub には、ファインチューニング用の DROID プリトレーニング済みベースを含む、すぐに使える3つのチェックポイントが用意されています。

lerobot-train \n  --policy.path=lerobot/VLA-JEPA-Pretrain \n  --dataset.repo_id=${HF_USER}/my_dataset \n  --policy.repo_id=${HF_USER}/my_finetuned_policy

VLA-JEPA ドキュメントと論文を参照してください。

LingBot-VA

LingBot-VA は、ビデオとアクションをチャンクごとに同時に予測し、実際の観測結果をフィードバックして想像を現実に結びつける自己回帰ビデオ・アクションモデルです。ロボットが想像した内容を (--policy.save_predicted_video=true) 保存して、実際に起こったことと比較できます。推論は単一の 24–32 GB GPU で実行可能です。ドキュメントと論文を参照してください。

FastWAM

FastWAM は、約 5B のビデオ生成エキスパートとコンパクトなアクションエキスパートを単一のネットワークに組み合わせており、モデルが文字通り自分自身のロールアウトを夢見ることを学習します。推論時には夢を見るプロセスを完全にスキップし、アクションチャンクを直接デノイズします。lerobot/fastwam_baseからファインチューニングでき、詳細はドキュメントで確認できます。

VLA：拡大し続けるモデルズー

今回のリリースでは、GR00T N1.7 からコンパクトな EVO1 まで、5つの新しい視覚言語アクション（VLA）モデルが LeRobot ズーに追加されました。

GR00T N1.7

NVIDIA GR00T の統合を、NVIDIA の最新のオープン世代のクロスエンボディメント基盤モデルである GR00T N1.7 にアップグレードしました。N1.7 は、従来の VLM を、フローマッチング・アクションヘッドに供給する Cosmos-Reason2-2B (Qwen3-VL に基づく) に置き換えています。当社の統合は、NVIDIA のオリジナルの Isaac-GR00T 実装に対して同等性がテストされています：同じ入力、同じ出力です。Flash-attention はオプションとなり、pip install 'lerobot[groot]' でそのまま動作し、NVIDIA が公開しているチェックポイントを直接ロードできます。

LeRobot では GR00T N1.7 が N1.5 に置き換わります。N1.5 が必要な場合は、lerobot==0.5.1 を指定してください。

MolmoAct2

Allen Institute for AI の視覚言語アクションモデルである MolmoAct2 が、ファインチューニング（フルまたは LoRA）、評価、実機ロボットへのデプロイを含む完全なライフサイクルをカバーして LeRobot に移植されました。キャリブレーション補正が含まれた既製のチェックポイントにより、SO-100/101 でゼロショット実行が可能です。

lerobot-rollout \n  --policy.path=lerobot/MolmoAct2-SO100_101-LeRobot \n  --robot.type=so100_follower \n  --robot.port=/dev/ttyACM0 \n  --robot.cameras='{cam0: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, cam1: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}' \n  --task="pick up the red cube" --duration=30

推論は bf16 で約 12 GB に収まり、LoRA ファインチューニングは単一の 24 GB GPU で可能です。MolmoAct2 ドキュメントを参照してください。

EO-1

インターリーブされた視覚・テキスト・アクションデータで事前学習された VLA である EO-1 が LeRobot に加わります。論文の著者の一人によって提供された、フローマッチング・アクションヘッドを備えた Qwen2.5-VL-3B バックボーンです。標準的な lerobot-train ワークフローで --policy.type=eo1 を使用してトレーニングできます。詳細はドキュメントと論文を参照してください。

Multitask DiT

Multitask Diffusion Transformer ポリシーは、TRI Large Behavior Models のレシピを LeRobot にもたらします。CLIP の視覚および言語埋め込みを条件とする約 450M パラメータの拡散トランスフォーマーであり、1つのモデルが自然言語で選択された多くのタスクを学習します。拡散とフローマッチングの両方の目的をサポートしており、自分でトレーニングできるほど軽量です。ドキュメントを参照してください。

EVO1

VLA は必ずしも巨大である必要はありません。EVO1 は、フローマッチング・アクションヘッドを備えた InternVL3-1B バックボーンで、ポリシーを 0.77B パラメータに詰め込んでおり、控えめな GPU でファインチューニングやリアルタイム実行が可能です。2段階のファインチューニングとリアルタイム・チャンキングのサポートが標準で備わっています。EVO1 ドキュメントと論文を参照してください。

リワードモデル：ロボットの成功を判断する

LeRobot v0.6.0 は、タスク固有のトレーニングなしに、ビデオと言語から成功と進捗をスコアリングする2つの新しい事前学習済みモデルを備えた、統一されたリワードモデル API を提供します。

Robometer

Robometer は、汎用的な事前学習済みリワードモデルです。lerobot/Robometer-4Bを任意の LeRobot データセットに適用すると、生のビデオと言語指示からタスクの進捗と成功をスコアリングします。Qwen3-VL-4B に基づいて構築され、100万件以上のロボット軌跡データセット (RSS 2026 論文) 上での軌跡比較を通じてトレーニングされています。

TOPReward

TOPReward は完全なゼロショットです。既存の VLM (Qwen3-VL) をラップし、軌跡ビデオとタスク指示が与えられたときのトークン "True" の対数確率を読み取ります。能力のある VLM であれば、何でもリワード関数になります。

両者とも、データセットにフレームごとの進捗曲線を書き込むラベル付けスクリプトを同梱しており、報酬を考慮した行動模倣 (RA-BC)、データセットの品質検査、進捗オーバーレイビデオの作成にすぐに利用できます。RobometerとTOPReward のドキュメントを確認してください。

データセット：高速な読み込み、より豊かなデータ

データセットの取り扱いにおいて、カスタムビデオエンコーディング、エンドツーエンドの深度、VLM による大規模な言語アノテーション、そして最大 2 倍の高速なデータ読み込みが可能になりました。

あなたのコーデック、あなたのルール

録画がハードコードされたコーデックに縛られることはなくなりました。新しい --dataset.rgb_encoder.* オプションにより、エンコーディングの全機能 (コーデック、品質、ピクセルフォーマット、GOP、プリセット) が公開され、vcodec=auto は、デフォルトのソフトウェア AV1 エンコーダーにフォールバックする前に、NVENC、VideoToolbox、VAAPI、QSV などのハードウェアエンコーダーを探索します。既存のデータセットは、1つのコマンドですべて再エンコードできます。

lerobot-edit-dataset \n    --repo_id ${HF_USER}/my_dataset \n    --operation.type reencode_videos \n    --operation.rgb_encoder.vcodec h264 \n    --operation.rgb_encoder.crf 23

詳細はビデオエンコーディング・ドキュメントを参照してください。

エンドツーエンドの深度サポート

Intel RealSense を接続し、use_depth: true に設定すると、LeRobot はエンドツーエンドで深度マップを記録します。ミリメートル単位でキャプチャされ、RGB カメラと一緒にコンパクトな 12 ビット深度ビデオストリームとして圧縮され、トレーニング時に物理単位にデコードされます。深度は録画中および lerobot-dataset-viz でライブ表示され、SO-100/101、Koch、OpenArm、reBot、Unitree G1 などで動作します。

大規模な言語アノテーション

データセットがエピソードごとに1つのタスク文字列である必要はもうありません。LeRobot データセットは、タイムスタンプ付きのサブタスク、計画、メモリ、修正、発話、カメラごとの VQA ペアなどの豊かな言語アノテーションをネイティブに保存できるようになりました。新しい lerobot-annotate CLI は、エピソードを監視する VLM を使用してこれらを自動的に埋めます。

lerobot-annotate \n    --repo_id=${HF_USER}/my_dataset \n    --new_repo_id=${HF_USER}/my_dataset_annotated \n    --vlm.model_id=Qwen/Qwen2.5-VL-7B-Instruct \n    --push_to_hub=true

YAML レシピ層が、サンプリング時にこれらのアノテーションをチャット形式のトレーニングメッセージとしてレンダリングします。これは、まさに明日、長期的な対話型ロボットポリシーがトレーニングに使用するデータそのものです。HF Jobs でスケールアップでき、詳細はアノテーション・パイプラインのドキュメントを読んでください。

最大 2 倍高速なデータ読み込み

ビデオデータセットでのトレーニングが、標準で最大約 2 倍高速になりました。マルチカメラフレームの並列デコード、プロセスの間でのメモリ消費を 4 倍抑えるコンパクトな uint8 フレームの転送、およびエポックをまたいでデコーダキャッシュを維持する永続ワーカーが実現しています。大規模データセットのサブセットの読み込み (episodes=[...]) は、数分からミリ秒単位に短縮されました (当社のベンチマークでは 275 秒から 0.06 秒へ)。サンプリングも決定論的かつ再開可能になったため、中断されたトレーニングもサンプル単位で正確に再開できます。

ベンチマーク：すべてを評価する単一の CLI

6 つの新しいシミュレーション・ベンチマークが評価ハブに加わり、すべて lerobot-eval コマンドからアクセス可能です。

  • LIBERO-plus は、照明やカメラの視点から書き換えられた指示まで、7 つの軸にわたる約 10,000 の LIBERO の摂動バリアントを使用して VLA を負荷テストします。ポリシーがいつ破綻するかを教えてくれます。
  • RoboTwin 2.0 は、強力なドメインランダム化を伴う SAPIEN 上の 50 の両手操作タスクをカバーし、Hub には10 万件以上のトレーニング準備済み軌跡が用意されています。
  • RoboCasa365 は、モバイルマニピュレータによる 2,500 のプロシージャル生成キッチンにおける 365 のキッチンタスクをカバーし、当社のラインナップで最大のタスク範囲を誇ります。
  • RoboCerebra は、言語に基づいた中間指示の下で 3〜6 のサブゴールを連鎖させるエピソードを用いて、長期的な行動を評価します。6,660 エピソードのデータセットも含まれます。
  • RoboMME は、記憶力テストです。ポリシーは繰り返しのカウント、隠れたオブジェクトの追跡、実演された手順の模倣ができるでしょうか？4 つのメモリ・スイートにわたる 16 のタスクがあります。
  • VLABench は、物理の質問からコーヒーを淹れるといった複合的なタスクまで、操作における知識と推論をテストします。
lerobot-eval \n  --policy.path=lerobot/smolvla_robotwin \n  --env.type=robotwin \n  --env.task=beat_block_hammer \n  --eval.n_episodes=100 --eval.batch_size=1

シミュレータのバックエンドには特定のシステム依存関係が必要であり、各ドキュメントページに正確な手順が記載されています。セットアップをスキップしたい場合は、各ベンチマークに用意された Docker イメージを使用できます。

LIBERO、Meta-World、NVIDIA IsaacLab-Arena と合わせると、1つの屋根の下に 9 つのベンチマーク・ファミリーが集まり、新しい 新しいベンチマークの追加ガイド に、自身のベンチマークをどのように組み込むかが詳しく記載されています。評価も高速化しました。並列評価は、最大 2 倍高速であることがベンチマークされた非同期ベクトル化環境がデフォルトになりました。

トレーニングと推論

トレーニングとデプロイには、DAgger スタイルのデータ収集、マルチ GPU スケーリングのための FSDP、および HF Jobs によるクラウドトレーニングを備えた専用のロールアウト CLI が提供されます。

lerobot-rollout: デプロイ専用の CLI

ポリシーのデプロイは、以前は lerobot-record の上に構築されたハックでした。新しい lerobot-rollout CLI は、プラグイン可能な戦略と推論バックエンド (低速な互換 VLA のためのリアルタイム・チャンキングを含む) を備え、デプロイを独自のワークフローにします。base 戦略は単にポリシーを実行します。sentry は継続的に記録し、エピソードをローテーションしながら Hub にアップロードします。highlight はリングバッファを保持し、キーを押したときに最後の N 秒間を保存するため、興味深い瞬間を逃しません。episodic は従来のエピソード/リセット記録ワークフローをミラーリングします。そして dagger は、デプロイをデータ収集へと変えます。

DAgger 戦略を使用すると、ポリシーの実行を見守り、誤った瞬間にキー (または USB フットペダル) を押し、リーダーアームで修正を記録するために操作を引き継ぎ、制御を戻すことができます。アクチュエータ付きのリーダーは、操作を引き継ぐ前にフォロワーのポーズに駆動されるため、ハンドオーバーはスムーズです。すべての修正フレームには intervention フラグがタグ付けされ、結果として得られるデータセットは次のファインチューニングにすぐに利用可能です。

lerobot-rollout \n    --strategy.type=dagger \n    --policy.path=${HF_USER}/my_policy \n    --robot.type=so100_follower \n    --robot.port=/dev/ttyACM0 \n    --teleop.type=so101_leader \n    --teleop.port=/dev/ttyACM1 \n    --dataset.repo_id=${HF_USER}/dagger_corrections \n    --dataset.single_task="Grasp the block"

デプロイし、修正を収集し、ファインチューニングし、繰り返す：ロボット学習のフライホイールが CLI フラグになりました。詳細はデプロイメント・ドキュメントを読んでください。

FSDP：GPU 以上のモデルをトレーニングする

ロボット基盤モデルは単一の GPU では収まりきらなくなっています。LeRobot のトレーニングは、Accelerate を通じて FSDP (Fully Sharded Data Parallel) をサポートします。パラメータ、勾配、オプティマイザの状態が GPU 間に分散され、チェックポイントは他のポリシーと同様にロードできる単一の model.safetensors ファイルに集約されます。異なる数の GPU で FSDP 実行を再開することも可能です。詳細はマルチ GPU トレーニング・ドキュメントを参照してください。

HF Jobs によるクラウドトレーニング

GPU がありませんか？問題ありません。同じ lerobot-train コマンドが、1つのフラグを追加するだけでクラウドで実行できるようになりました。

lerobot-train \n  --dataset.repo_id=${HF_USER}/so101_test \n  --policy.type=act \n  --policy.repo_id=${HF_USER}/my_policy \n  --job.target=a10g-small

LeRobot は、必要に応じてローカルデータセットをプライベートな Hub リポジトリにプッシュし、ジョブを送信し、ログをターミナルにストリーミングし、最後にトレーニングされたポリシーを Hub にプッシュします。--job.target で T4 から 8× H200 まで何でも選べます (コンピューティング料金は従量課金です)。ドキュメントを確認してください

コードベース：より軽量に、よりクリーンに

インストールがより軽くなり、依存関係は機能ごとに制限され、ユーザビリティの向上として Foxglove ストリーミング、uv lock、Wayland キーボードサポート、およびプラグインベースのコンポーネントが含まれます。

  • pip install lerobot は、ベースの依存関係が約 40% 減少し、真に軽量になりました。機能限定の extras ([training], [core_scripts], [evaluation],...) が残りの部分をカバーし、不足している依存関係のエラーはどの extra を追加すべきかを正確に教えてくれます。LeRobot データセットのみを使用する場合、ハードウェア関連の依存関係をインストールする必要はもうありません ;)

  • サポートされる PyTorch は 2.7–2.11 に移行し、Linux uv インストールでは CUDA 12.8 ホイールがデフォルトで固定されています。--policy.dtype=bfloat16 は、Accelerate を介して真の混合精度トレーニングを駆動します。

  • 確定的な uv.lock は、CI、Docker、および開発のための権威ある依存関係仕様となり、ドキュメントには、単一のフラグで CUDA ホイールを選択することから始まる、すべてのステップにおける uv インストールルートが含まれています。

  • --display_mode=foxglove は、多くのロボット工学の世界ですでに使用されている視覚化ツール Foxglove に、テレオペレーション、録画、ロールアウトをストリーミングします。これはリモートセットアップでも動作し、lerobot-dataset-viz はスクラブ可能なデータセット再生機能を備えています。

  • Pip でインストール可能な lerobot_env_* パッケージは、自身の環境を自己登録するようになりました。プラグインシステムは、ロボット、カメラ、テレオペレーター、ポリシー、環境の 5 つのコンポーネント・タイプすべてをカバーしています。

  • 録画中のキーボード操作が、Wayland、SSH、ヘッドレス環境、およびアクセシビリティ権限なしの macOS で動作するようになりました。

変更点の全リストと移行のポイントについては、リリースノートを確認してください。

コミュニティ & エコシステム

LeLab ブラウザ UI、Isaac Teleop 統合、ハードウェアガイド、プラグイン・ポリシーガイドなどの新しいツールがアクセシビリティを拡大します。

  • LeLab は、LeRobot のワークフロー全体 (キャリブレーション、テレオペレーション、録画、ローカルまたは HF Jobs でのトレーニング、デプロイ) をブラウザ UI に集約し、CLI を必要としません。現在は SO-ARM101 をサポートしています。ぜひお試しください！
  • Isaac Teleop は、NVIDIA チームとのコラボレーションの結果である CloudXR/OpenXR 経由の NVIDIA の Isaac Teleop スタック を通じて、VR コントローラーで SO-101 をテレオペレーションできるようにします。詳細はドキュメントを参照してください。
  • 新しい コンピューティング・ハードウェアガイド は、すべての初心者が抱く 2 つの疑問、すなわち「どの GPU が必要か」と「トレーニングにどれくらいの時間がかかるか」に答えます。ポリシー・ファミリーごとの実測 VRAM 範囲と、RTX 4090 から 4× H100 までのリファレンス・トレーニング時間を提示しています。
  • 書き直された ポリシーの追加ガイド は、PR を必要とせず、ツリー内またはプラグイン・パッケージとして自身のポリシーを公開する方法を示しています。

最後に

目玉となる機能以外にも、v0.6.0 には、よりスマートなデフォルト設定から、より信頼性の高い CI に至るまで、コードベース全体にわたる数百のバグ修正、ドキュメントの改善、および QoL (Quality of Life) アップグレードが含まれています。

コミュニティの皆様に心から感謝いたします。このリリースには、自身のモデルやベンチマークの拠点として LeRobot を選んでくれた学術界、産業界、およびホビーユーザーのチームによる成果が含まれています。すべての PR とバグ報告が、オープンソース・ロボティクスを前進させます。

今後の展開にご期待ください 🤗 ここから始めましょう こちら! – LeRobot チーム ❤️

Sources