FluxVLA/FluxVLA
An all-in-one VLA engineering platform for embodied AI — from data to real-robot deployment.
FluxVLA Engine – 具身知能研究のためのワンストッププラットフォーム
概要 – FluxVLA Engineは、研究者やエンジニアがロボット向けの視覚・言語・行動(VLA)モデルをトレーニング、評価、デプロイできるオープンソースのエンドツーエンドソフトウェアスタックです。以下をバンドルしています:
- 統一設定と標準化されたAPIにより、同じコードがシミュレーション、ワークステーション、エッジデバイスで実行可能。
- モジュール式コンポーネント(データパイプライン、モデルバックエンド、報酬モデルトレーナー、推論ランタイム)は、システム全体を書き換えることなく交換可能。
- デプロイ可能性 – Dockerイメージ、Jetson-Orinサポート、Tritonベースの推論、ZMQリモート推論ラッパー。
重要性 – ロボット対応のVLAモデルを構築するには、通常、多くの異なるツール(シミュレーター、大規模モデルトレーニング、ハードウェアドライバー)を組み合わせる必要があります。FluxVLAはその摩擦を取り除き、生データから実ロボット実行までの単一の「エンジニアリングループ」を提供し、学界と産業界の両方が具身知能AIを実験するための障壁を低くします。
主な機能(READMEに記載されている通り)
| 機能 | READMEの説明 |
|---|---|
| フルスタックプラットフォーム | データ収集、モデルトレーニング、ベンチマーク評価(LIBERO、RoboCasa、RoboDojo)から実ロボットデプロイ(Franka、Oliヒューマノイド、Jetson Orin)までを処理。 |
| 統一設定 | ワンコマンドインストーラー(scripts/install_env.sh)で、シミュレーションのみ、実ロボットのみ、またはフルスタックのモードを選択可能。 |
| 標準化されたインターフェース | 同じPython APIがシミュレーターとハードウェアの両方で動作。ZMQを介したリモート推論、高速推論のためのTritonバックエンド。 |
| モジュール分離 | 別々のモデルファミリー(SmolVLA、Cosmos3-Edge、GR00T N1.5/N1.7、Qwen3VL、DreamZero、PI0/PI0.5、FastWAM、DiT4DiT)を交換可能。 |
| デプロイ可能性 | Dockerイメージ、Jetson-Orinフラッシュガイド、RTX-5090リアルタイム推論(45 Hz)、エッジ推論(7.4 Hz)。 |
| ベンチマークスイート | LIBERO、RoboCasa GR1、RoboDojo用の事前トレーニング済みチェックポイントとスクリプト、詳細なパフォーマンステーブル付き。 |
| 拡張可能なパイプライン | FluxDAgger(モデル分離DAgger)、FluxBisim(シミュレーションベンチマーク)、報酬モデルの再重み付け(RA-BC/AW-BC)。 |
| ドキュメント | 多言語ドキュメント(EN/中文/日本語)、APIリファレンス、デプロイガイド、arXivのテクニカルレポート。 |
パフォーマンスのハイライト(READMEのテーブルから)
- LIBEROベンチマーク – 最高平均スコアは約98%(例:FluxVLA(PI0.5)平均97.95%、FluxVLA(DiT4DiT)98.65%)。
- RoboCasa GR1 – トップモデルFluxVLA(DiT4DiT)は、キャビネット、引き出し、電子レンジ、一般化タスクで平均成功率**57.25%**を達成。
- RoboDojo – FluxVLA(PI0.5)は、平均進行スコア13.61、成功率**8.83%**で最高を示し、強力な長期的および記憶能力を示しています。
はじめに(インストール)
# 新しいconda環境を作成
conda create -n fluxvla python=3.10 -y
conda activate fluxvla
# ワンコマンドインストーラー – モードを選択
bash scripts/install_env.sh sim-only # シミュレーションとベンチマークのみ
# bash scripts/install_env.sh real-only # 実ロボットドライバーとリモート推論
# bash scripts/install_env.sh full # すべて
インストーラーは、適切なCUDA-PyTorchビルドを自動的に選択し、スキップしない限りHuggingFaceからRoboCasaアセットを取得します。
典型的なワークフロー
- 設定 – YAML/JSON実験ファイル(環境、モデル、報酬モデル)を設定します。
- トレーニング – 提供されたスクリプト(
scripts/train.sh)を使用してトレーニングします。大規模モデル(Cosmos3-Edge、GR00T、DiT4DiT)とチェックポイント不要のGPT-6 Astra評価をサポート。 - 評価 – 標準スイート(LIBERO、RoboCasa、RoboDojo)で、進行状況と成功率を記録するワンライナーコマンドで評価します。
- デプロイ – Dockerイメージをビルドし、Jetson Orinをフラッシュするか、ZMQを介してリモート推論を実行します。同じモデルチェックポイントを使用して実ロボット(Franka、Oli)を制御します。
誰が使うべきか
- ロボティクス研究者 – VLA実験の再現可能なパイプラインが必要な方。
- AIラボ – 新しい視覚・言語・行動アーキテクチャを最先端のベースラインとベンチマークしたい方。
- 産業チーム – 具身知能AI製品(倉庫のピックアンドプレース、ホームアシスタントロボット)を構築し、既製のデプロイスタックが必要な方。
詳細情報
- コードとチェックポイント – https://huggingface.co/limxdynamics/FluxVLAEngine
- テクニカルレポート – https://arxiv.org/abs/2609.17210
- 完全なドキュメント – https://fluxvla.limxdynamics.com (英語、中国語、日本語)
- コミュニティ – バッジバーのWeChatとFeishuリンクからサポートとお知らせ。
結論 – FluxVLA Engineは、具身知能設定で視覚・言語・行動モデルをトレーニングおよびデプロイするための、ベンチマーク、実ロボットデモ、広範なデプロイツールを備えた、本格的で包括的なオープンソースプラットフォームです。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- Dispatch
- プロジェクト