FluxVLA/FluxVLA

An all-in-one VLA engineering platform for embodied AI — from data to real-robot deployment.

FluxVLA Engine – 具身知能研究のためのワンストッププラットフォーム

概要 – FluxVLA Engineは、研究者やエンジニアがロボット向けの視覚・言語・行動(VLA)モデルをトレーニング、評価、デプロイできるオープンソースのエンドツーエンドソフトウェアスタックです。以下をバンドルしています:

  • 統一設定と標準化されたAPIにより、同じコードがシミュレーション、ワークステーション、エッジデバイスで実行可能。
  • モジュール式コンポーネント(データパイプライン、モデルバックエンド、報酬モデルトレーナー、推論ランタイム)は、システム全体を書き換えることなく交換可能。
  • デプロイ可能性 – Dockerイメージ、Jetson-Orinサポート、Tritonベースの推論、ZMQリモート推論ラッパー。

重要性 – ロボット対応のVLAモデルを構築するには、通常、多くの異なるツール(シミュレーター、大規模モデルトレーニング、ハードウェアドライバー)を組み合わせる必要があります。FluxVLAはその摩擦を取り除き、生データから実ロボット実行までの単一の「エンジニアリングループ」を提供し、学界と産業界の両方が具身知能AIを実験するための障壁を低くします。


主な機能(READMEに記載されている通り)

機能 READMEの説明
フルスタックプラットフォーム データ収集、モデルトレーニング、ベンチマーク評価(LIBERO、RoboCasa、RoboDojo)から実ロボットデプロイ(Franka、Oliヒューマノイド、Jetson Orin)までを処理。
統一設定 ワンコマンドインストーラー(scripts/install_env.sh)で、シミュレーションのみ、実ロボットのみ、またはフルスタックのモードを選択可能。
標準化されたインターフェース 同じPython APIがシミュレーターとハードウェアの両方で動作。ZMQを介したリモート推論、高速推論のためのTritonバックエンド。
モジュール分離 別々のモデルファミリー(SmolVLA、Cosmos3-Edge、GR00T N1.5/N1.7、Qwen3VL、DreamZero、PI0/PI0.5、FastWAM、DiT4DiT)を交換可能。
デプロイ可能性 Dockerイメージ、Jetson-Orinフラッシュガイド、RTX-5090リアルタイム推論(45 Hz)、エッジ推論(7.4 Hz)。
ベンチマークスイート LIBERO、RoboCasa GR1、RoboDojo用の事前トレーニング済みチェックポイントとスクリプト、詳細なパフォーマンステーブル付き。
拡張可能なパイプライン FluxDAgger(モデル分離DAgger)、FluxBisim(シミュレーションベンチマーク)、報酬モデルの再重み付け(RA-BC/AW-BC)。
ドキュメント 多言語ドキュメント(EN/中文/日本語)、APIリファレンス、デプロイガイド、arXivのテクニカルレポート。

パフォーマンスのハイライト(READMEのテーブルから)

  • LIBEROベンチマーク – 最高平均スコアは約98%(例:FluxVLA(PI0.5)平均97.95%、FluxVLA(DiT4DiT)98.65%)。
  • RoboCasa GR1 – トップモデルFluxVLA(DiT4DiT)は、キャビネット、引き出し、電子レンジ、一般化タスクで平均成功率**57.25%**を達成。
  • RoboDojo – FluxVLA(PI0.5)は、平均進行スコア13.61、成功率**8.83%**で最高を示し、強力な長期的および記憶能力を示しています。

はじめに(インストール)

# 新しいconda環境を作成
conda create -n fluxvla python=3.10 -y
conda activate fluxvla

# ワンコマンドインストーラー – モードを選択
bash scripts/install_env.sh sim-only   # シミュレーションとベンチマークのみ
# bash scripts/install_env.sh real-only  # 実ロボットドライバーとリモート推論
# bash scripts/install_env.sh full       # すべて

インストーラーは、適切なCUDA-PyTorchビルドを自動的に選択し、スキップしない限りHuggingFaceからRoboCasaアセットを取得します。


典型的なワークフロー

  1. 設定 – YAML/JSON実験ファイル(環境、モデル、報酬モデル)を設定します。
  2. トレーニング – 提供されたスクリプト(scripts/train.sh)を使用してトレーニングします。大規模モデル(Cosmos3-Edge、GR00T、DiT4DiT)とチェックポイント不要のGPT-6 Astra評価をサポート。
  3. 評価 – 標準スイート(LIBERO、RoboCasa、RoboDojo)で、進行状況と成功率を記録するワンライナーコマンドで評価します。
  4. デプロイ – Dockerイメージをビルドし、Jetson Orinをフラッシュするか、ZMQを介してリモート推論を実行します。同じモデルチェックポイントを使用して実ロボット(Franka、Oli)を制御します。

誰が使うべきか

  • ロボティクス研究者 – VLA実験の再現可能なパイプラインが必要な方。
  • AIラボ – 新しい視覚・言語・行動アーキテクチャを最先端のベースラインとベンチマークしたい方。
  • 産業チーム – 具身知能AI製品(倉庫のピックアンドプレース、ホームアシスタントロボット)を構築し、既製のデプロイスタックが必要な方。

詳細情報


結論 – FluxVLA Engineは、具身知能設定で視覚・言語・行動モデルをトレーニングおよびデプロイするための、ベンチマーク、実ロボットデモ、広範なデプロイツールを備えた、本格的で包括的なオープンソースプラットフォームです。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • Dispatch
  • プロジェクト