ginwind/VLA-JEPA

何を解決するか

VLA-JEPAは、潜在的世界モデルを統合することで、視覚言語行動（VLA）モデルの性能を向上させます。これにより、ロボットエージェントは潜在空間内で自身の行動の結果をよりよく理解・予測できるようになり、異なる環境で複雑なタスクを実行する能力が向上します。

動作方法

このプロジェクトは、視覚言語モデル（VLM）と潜在的世界モデルエンコーダーを組み合わせています。具体的には、Qwen3-VL-2BモデルとV-JEPA2エンコーダーを使用しています。システムは、Droid、LIBERO、BridgeV2などのロボット固有のデータセットと、ssv2などの人間の動画データセットの混合データで学習され、汎用的な行動ポリシーを学習します。事前学習および事後学習の両方に対応しており、LeRobot v2.1フォーマットを使用してカスタムロボットデータセットに適応可能です。

対象ユーザー

このプロジェクトは、エムベデッドインテリジェンスやVLAモデルに取り組むロボット研究者やAIエンジニア向けであり、世界モデルを活用してロボット制御ポリシーを改善したい人を対象としています。

特徴

• ハイブリッド学習: ロボット固有の行動データと一般的な人間の動画の両方で学習が可能。
• 広範なベンチマーク対応: LIBERO、LIBERO-Plus、SimplerEnvベンチマーク用の評価スクリプトを含む。
• カスタマイズ可能: LeRobot v2.1フォーマットを通じて、独自のロボットデータセットを統合可能。
• 事前学習済みコンポーネント: Qwen3-VLやV-JEPA2など、最先端のコンポーネントを活用。