JEPA World Models: 再学習なしでのプランニング最適化

プランニングを通じたワールドモデル性能の向上

Joint-Embedding Predictive Architecture (JEPA) モデル、特に LeWorldModel (LeWM) に関する最近の実験から、長期的なタスクにおける主要なボトルネックはモデルの予測品質ではなく、プランニングに使用される戦略にあることが明らかになりました。階層的プランニングとメモリベースのゴール選択を実装することで、研究者はモデルの重みを再学習することなく、大幅な性能向上を達成できます。

プランニングホライゾンのボトルネック

標準的な LeWM モデルは長期的なタスク(例:75ステップ)では苦戦しますが、より短い間隔(例:25ステップ)では高い精度で動作します。実験データによると、75ステップのタスクを3つの25ステップのセグメントに分割することで、成功率が22%から80%に向上することが示されています。これは、モデルの有用性がその有効なプランニングホライゾンによって制限されており、単一の長距離予測を最適化しようとするよりも、短く正確な探索を連鎖させる方が効果的であることを示唆しています。

潜在メモリグラフの活用

デプロイメント中に専門家のデモンストレーションに依存することを排除するために、既存のデモンストレーションデータから潜在メモリグラフを構築できます。これらのフレームを埋め込み、それらを接続することで、プランナーは開始状態からゴール状態までナビゲートできます。モデルが物理的に不可能なパスを作成するのを防ぐために、異なるデモンストレーション間のジャンプにコストペナルティを適用する必要があります。この手法により、モデルは専門家が提供したサブゴールを使用する場合と同等の性能を達成できます。

対称性によるデータ拡張

ブロックを押すような物理的なタスクは、回転、平行移動、鏡映に対して不変であるため、既存のデモンストレーションセグメントを変換することでメモリのギャップを埋めることができます。このアプローチにより、モデルは元のトレーニングデータの直接的なパスの外側にあるゴールを処理できるようになり、困難な分布外(out-of-distribution)タスクでの成功率が向上します。

ゴール指定の影響

標準的なプランニングは、コスト関数にターゲットオブジェクトだけでなくロボットのエンドエフェクタ位置(プッシャー)が含まれているために失敗することがよくあります。ゴール画像には特定のプッシャー位置が含まれているため、モデルは両方を一致させようとしますが、これは多くの場合不要であり、過度に制限的です。コスト関数からプッシャーを除外する、あるいは複数の有効なプッシャー位置を探索することで、モデルが無関係な視覚的詳細を一致させるのではなく、タスクの目的に集中できるようになり、成功率を大幅に向上させることができます。

コミュニティの視点

これらの知見をめぐる議論では、JEPAと古典的な制御理論の関係が強調されています。一部の観察者は、JEPAはモデル予測制御 (MPC) と同様に機能し、その「モデル」は学習された潜在空間表現であると指摘しています。また、デモンストレーションから導出されたゴールに依存することが、トレーニング分布への過学習につながる可能性があると示唆し、評価手法に関する疑問を投げかける声もあります。

"JEPAはモデル予測制御と非常によく似ています。ここでは、システムのモデルをブラックボックスシミュレータ(ニューラルネット)に置き換え、動的計画法やベルマン方程式の何らかのバージョンを適用して、プランニングホライゾン全体で最適なアクションを見つけます。プランニング段階において、最適化ステップをロールアウトステップから切り離すことで、モデルが潜在空間におけるダイナミクスの学習に集中できるようになります。" — @hazrmard

"これはデモンストレーション後に不完全な状態や失われたメモリを回復するための興味深い手法ですね。元のLeWMには変換メモリの手法は備わっていないのでしょうか?" — @rvz

Sources

関連

  • Dispatch
  • プロジェクト
  • Dispatch
  • Dispatch