starVLA/starVLA

⭐ StarVLA とは何か？

StarVLA は、視覚言語行動（VLA）モデル を構築するためのオープンソース研究プラットフォームです。これは、視覚を認識し、言語を理解し、ロボットの行動を生成できるニューラルネットワークです。コードベースは意図的にモジュール化（「レゴ風」）されており、視覚言語バックボーン、行動生成ヘッド、トレーニング手法などを最小限の手間で交換できます。

🎯 主要機能

分野	StarVLA が提供する内容
モジュールアーキテクチャ	データロード、モデルバックボーン（例：Qwen‑VL、Florence‑2）、行動ヘッド（FAST、OFT、フローマッチング、GR00T）、トレーニングユーティリティなど、高結合性の独立モジュール。各モジュールは個別に実行可能で、迅速なデバッグが可能。
マルチベンチマーク対応	拡張されたエムベデッドAIベンチマークのための即時実行パイプライン：LIBERO、LIBERO‑plus、SimplerEnv、RoboCasa‑GR1/365、RoboTwin 2.0、DOMINO、BEHAVIOR、CALVIN、RoboDojoなど。
トレーニングレシピ	教師付きファインチューニング、マルチモーダル共同トレーニング、クロスエムベデッド共同トレーニング、強化学習のポストトレーニング用フックを実装。
バックボーンの柔軟性	Qwen‑3シリーズ（0.8 B–9 B）、Qwen‑3.5、Florence‑2、VLAct事前学習バックボーンをサポート。DeepSpeed ZeROを介してAscend NPUおよびGPUクラスタでも動作可能。
行動ヘッド	4種類の準備済みヘッド：

FAST – 離散トークン行動。
OFT – 並列連続MLPデコード。
PI – ディフュージョンベースのフローマッチング。
GR00T – デュアルシステム（System 1 + System 2）アーキテクチャ。 | | 拡張可能な設定システム | すべてのハイパーパラメータは1つの階層的YAML/Dict設定ファイルに格納され、簡単に上書き可能（例：--framework.qwenvl.base_vlm Qwen/Qwen2.5-VL-7B-Instruct でVLMを切り替え）。 | | コミュニティとリソース | プロジェクトページ、HuggingFace上のモデルズー、AllenAIからのDocker環境、協調開発用のコントリビューターグループ。 |

🚀 クイックスタート

インストール – docs/starVLA_guideline.md のステップバイステップガイドに従って（環境設定、依存関係、オプションのDocker）。
ベンチマークを選択 – 例：examples/simBenchmarks/LIBERO/train_files/starvla_cotrain_oxe.yaml。

スモークテスト実行（オプション）：

python starVLA/model/framework/VLM4A/QwenOFT.py --config_yaml starvla_cotrain_oxe.yaml
python starVLA/dataloader/lerobot_datasets.py --config_yaml starvla_cotrain_oxe.yaml

トレーニング開始 – Accelerate/DeepSpeedを使用：

accelerate launch \
  --config_file starVLA/config/deepseeds/deepspeed_zero2.yaml \
  --num_processes 8 \
  starVLA/training/train_starvla.py \
  --config_yaml examples/simBenchmarks/LIBERO/train_files/starvla_cotrain_oxe.yaml \
  --framework.qwenvl.base_vlm Qwen/Qwen2.5-VL-7B-Instruct

評価 – 提供された評価ハーネスを実行（例：examples/simBenchmarks/RoboDojo/eval.sh）。結果は自動的にログに記録され、公開されたベンチマークテーブルと比較可能。

📊 公開された性能

StarVLAは以下の複数のベンチマークで最先端の結果を達成しています：

LIBERO – assets/starvla_LIBERO.png の棒グラフを参照。
RoboCasa‑PI – 1 016/2 500タスク分割で40.64 %の成功率。
SimplerEnv, Calvin, RoboTwin 2.0, DOMINO など（完全なテーブルはOverleafリンクに掲載）。

🤝 コミュニティと貢献

モデル・データハブ – HuggingFaceコレクション StarVLA/* に事前学習済みチェックポイントとデータセットをホスト。
コントリビューター一覧 – starvla.github.io/contributors でライブ更新中。contrib.rocks バッジで視覚化可能。
ディスカッションチャンネル – README内のリンクによるWeChatグループ、GitHub Issues（機能要望、バグ報告、PRレビュー）。
派生プロジェクト – NeuroVLA、PhysBrain、TwinBrainVLA、LangForce、LaWAMなど、すべてStarVLAのコアスタックを基盤に構築。

📚 StarVLAを使うべきタイミング

視覚言語認識とロボット制御を統合したパイプラインが必要なエムベデッドAI研究。
データパイプラインを再実装せずに新しい行動ヘッドのプロトタイピングや異なるVLMバックボーンの実験。
1つのコードベースで多数のシミュレート／実機ロボットベンチマークを比較検証。
DeepSpeed、Ascend NPU、マルチGPUクラスタを活用したスケーラビリティ実験。

📌 引用

StarVLAを使用する場合、arXiv技術報告（2604.05014）を引用してください。READMEに最新のBibTeXエントリが提供されています。