MINT-SJTU/Evo-1

解決する課題

Evo-1 はロボット操作のために設計された軽量な Vision-Language-Action (VLA) モデルです。視覚とテキストの指示を正確なロボットアクションに変換しながら意味的アライメントを維持するという、効率的なモデルを作成する課題を解決し、様々なシミュレーションベンチマークと実世界のロボット本体で動作できるようにします。

仕組み

Evo-1 はロボット制御を学習するために2段階のトレーニングパラダイムを使用します。第1段階では、統合モジュールとアクションエキスパートをトレーニングします。第2段階では、VLM (Vision-Language Model) とアクションヘッドを含む本格的なトレーニングを実行します。フローマッチングアクションヘッドをサポートし、データ処理とデプロイのために LeRobot フレームワークと統合されています。このモデルはサーバー・クライアントアーキテクチャで動作し、クライアントが観測データ (画像、ロボット状態、プロンプト) を送信し、サーバーがアクションチャンクを返します。

対象者

このプロジェクトは、身体知能のために軽量な VLA モデルを必要とするロボット工学の研究者や開発者、特に Meta-World、LIBERO、RoboTwin のようなシミュレーション環境で作業する、または xArm6、SO100/SO101、Jetson Orin などの実際のハードウェアにデプロイする人向けです。

ハイライト

• 幅広いベンチマークサポート: Meta-World、LIBERO、LIBERO-plus、RoboTwin (50の両手タスク) で検証済み。
• 軽量なアーキテクチャ: 効率を考慮して設計されており、より高速なトレーニングと GPU メモリ使用量の削減のための専用の evo1-flash ブランチがあります。
• フレームワーク統合: Hugging Face LeRobot フレームワークに完全に統合されており、SFT と GRPO のファインチューニングのために RLinf フレームワークによってサポートされています。
• クロスエンボディメントデプロイ: xArm6 や Jetson Orin Docker サポートを含む、様々なハードウェア向けの推論スクリプトを提供します。