ToyBlocks: ロボット学習と評価のための制御された世界

ToyBlocksの概要

ToyBlocksは、ロボット工学研究のための「FoundationWorld（基盤世界）」として機能するように設計された新しいシミュレーションフレームワークです。研究者がトレーニングデータ、モデル設計、テスト条件を体系的に変更できる制御された環境を提供します。ToyBlocksは、テーブルトップでブロックを操作するロボットアームという制約されたドメインに焦点を当てることで、モデルが新しいタスクにどのように汎化するか、また高レベルの推論と正確な物理制御をどのように効果的に組み合わせるかといった、複雑なロボット工学の課題の研究を可能にします。

フレームワークの主要要件

ToyBlocksは、狭い範囲の現実世界のロボットデモンストレーションの限界に対処するために、以下の4つの主要要件を満たすように構築されています。

現実的な物理特性と外観: シミュレーションされた動作が物理的な対応物と密接に一致することを保証します。
大規模な自動生成: 時間のかかる人間の遠隔操作を必要とせずに、タスクとデモンストレーションデータを作成します。
推論と器用さ: 高レベルの計画と物理的な操作スキルを組み合わせるようモデルに挑戦させます。
広範なドメインカバレッジ: 定義された環境内で包括的なタスクセットを提供します。

技術アーキテクチャ

ToyBlocksは、エンドツーエンドのロボット学習を促進するためにいくつかのコンポーネントを統合しています。

スキル生成: Nvidiaの Isaac Lab 内で強化学習 (RL) とモーションプランニングを使用し、ブロックを押す、裏返す、回転させるといった非把持スキルを開発します。
タスク・アンド・モーションプランニング (TAMP): これらのスキルを自動的にシーケンス化して複雑なタスクを解決し、単一のGPUでリアルタイム性能の最大24倍に達するラベル付きデモンストレーションデータセットを大規模に生成します。
階層的制御: このフレームワークは、戦略を決定する高レベルの推論モデル（例: Molmo 2）と、具体的な物理的動きを実行する低レベルのアクションモデル（例: ManiFlow）の分離をサポートしています。

研究への応用

ToyBlocksは、ロボット工学研究のいくつかの重要な分野のためのテストベッドを提供します。

空間的汎化: 研究者は、視覚・言語・行動 (VLA) モデルがオブジェクトの配置、照明、ワークスペースの境界の変化をどのように処理するかをテストでき、現在の多くのモデルがなぜ脆弱なままなのかを特定するのに役立ちます。
長期的計画: ブロックで単語を綴るような多段階タスクを作成することで、エージェントが情報を明らかにするために探索的行動を実行しなければならないシナリオを含め、階層的計画の評価を可能にします。
エージェントシステム: このフレームワークは、Model Context Protocol (MCP) を介したフロンティアモデルとの統合をサポートしており、エージェントが自然言語を使用して環境と対話し、仮説を立て、独自の実験を設計できるようにします。
世界モデルの評価: ToyBlocksはグラウンドトゥルースの状態データを提供し、研究者がアクション条件付き世界モデル（Wan 2.2 や LeWM など）が物理的相互作用やタスクの結果をどれだけ正確に予測できるかを測定できるようにします。

Sim-to-Real（シミュレーションから現実へ）の転送

シミュレーションと現実世界の間のギャップを埋めるために、このフレームワークはシステム同定を使用して、関節の摩擦や慣性などのシミュレーションパラメータを調整し、物理的なロボットの軌道と一致させます。さらに、物理的および視覚的な特性に対してドメインランダム化を使用し、RGB画像からクリーンな深度マップを生成して推論を改善します。初期の実験では、ToyBlocksシミュレーションで完全にトレーニングされた階層システムが、物理的な Franka FR3 ロボットに展開された際に同等の成功率を達成し、シミュレーションベースのトレーニングが現実世界のハードウェアに転送できる可能性を示しました。