roboterax/video-prediction-policy-2

解決する課題

VPP2 は、ビデオ予測とアクション生成を組み合わせることで、ロボットが環境をよりよく理解し、相互作用する必要性に対応します。ロボットはアクションを実行する前に将来の視覚状態を「予測」できるため、視覚的な計画と記憶を必要とする複雑なタスクでのパフォーマンスが向上します。

仕組み

このシステムは3段階のパイプラインを使用します：

1. イベントレベルのビデオ事前学習 で視覚ダイナミクスを学習します。
2. 視覚計画 は、後続トレーニングと蒸留を通じて、モデルが結果を予測する方法を洗練します。
3. アクション学習 は、混合トランスフォーマー（MoT）アーキテクチャを使用して、視覚予測を具体的なロボットの動きに変換します。

記憶を必要とするタスクでは、モデルは入力に履歴フレームを組み込むことができ、過去のイベントに基づいて意思決定を行うことができます。

対象者

このプロジェクトは、ロボット学習、視覚計画、自律エージェントに取り組む研究者や開発者向けに設計されています。特に、RoboDojo や LIBERO などのベンチマークを使用し、視覚予測と物理的アクションの間のギャップを埋めるポリシーをトレーニングおよび評価するためのフレームワークを必要とする人々に役立ちます。

ハイライト

• RoboDojo-Sim リーダーボードで最先端のパフォーマンスを達成。
• 単一の画像とテキスト指示からのゼロショットビデオ予測をサポート。
• ビデオ生成とポリシー評価の両方のための事前学習済みモデルウェイトを含む。
• RoboDojo および LIBERO ベンチマーク向けのモジュール式トレーニングおよび評価ワークフローを提供。