starVLA/starVLA

⭐ StarVLA 是什么？

StarVLA 是一个用于构建 视觉-语言-动作（VLA）模型 的开源研究平台——能够看、读取语言并生成机器人动作的神经网络。该代码库故意采用模块化设计（“乐高式”），允许研究人员轻松替换视觉-语言主干、动作生成头或训练方案，几乎无摩擦。

🎯 核心功能

领域	StarVLA 提供的内容
模块化架构	数据加载、模型主干（如 Qwen‑VL、Florence‑2）、动作头（FAST、OFT、流匹配、GR00T）和训练工具的独立高内聚模块。每个组件可独立运行，便于快速调试。
多基准支持	针对不断增长的具身AI基准的即用型流水线：LIBERO、LIBERO‑plus、SimplerEnv、RoboCasa‑GR1/365、RoboTwin 2.0、DOMINO、BEHAVIOR、CALVIN、RoboDojo 等。
训练方案	实现监督微调、多模态协同训练、跨具身协同训练，并支持强化学习后训练的钩子。
主干灵活性	支持多种视觉-语言模型：Qwen‑3 系列（0.8 B–9 B）、Qwen‑3.5、Florence‑2 和 VLAct 预训练主干。通过 DeepSpeed ZeRO 支持 Ascend NPU 和 GPU 集群。
动作头	四种现成的动作头：

FAST – 离散 token 动作。
OFT – 并行连续 MLP 解码。
PI – 基于扩散的流匹配。
GR00T – 双系统（System 1 + System 2）架构。 | | 可扩展配置系统 | 所有超参数存储在单一分层 YAML/Dict 配置中，支持轻松覆盖（例如，通过 --framework.qwenvl.base_vlm Qwen/Qwen2.5-VL-7B-Instruct 替换 VLM）。 | | 社区与资源 | 项目页面、HuggingFace 模型库、AllenAI 提供的 Docker 环境，以及用于协同开发的贡献者群组。 |

🚀 快速入门

安装 – 参照 docs/starVLA_guideline.md 中的逐步指南（环境设置、依赖项、可选 Docker）。
选择一个基准 – 示例：examples/simBenchmarks/LIBERO/train_files/starvla_cotrain_oxe.yaml。

运行烟雾测试（可选）：

python starVLA/model/framework/VLM4A/QwenOFT.py --config_yaml starvla_cotrain_oxe.yaml
python starVLA/dataloader/lerobot_datasets.py --config_yaml starvla_cotrain_oxe.yaml

启动训练 – 使用 Accelerate/DeepSpeed：

accelerate launch \
  --config_file starVLA/config/deepseeds/deepspeed_zero2.yaml \
  --num_processes 8 \
  starVLA/training/train_starvla.py \
  --config_yaml examples/simBenchmarks/LIBERO/train_files/starvla_cotrain_oxe.yaml \
  --framework.qwenvl.base_vlm Qwen/Qwen2.5-VL-7B-Instruct

评估 – 运行提供的评估工具（例如 examples/simBenchmarks/RoboDojo/eval.sh）。结果将自动记录，并可与公开的基准表进行比较。

📊 报告性能

StarVLA 在多个套件中宣称达到 最先进水平，例如：

LIBERO – 参见 assets/starvla_LIBERO.png 中的柱状图。
RoboCasa‑PI – 在 1 016/2 500 任务划分中成功率达到 40.64 %。
SimplerEnv、Calvin、RoboTwin 2.0、DOMINO 等（完整表格见 Overleaf 链接）。

🤝 社区与贡献

模型与数据中心 – HuggingFace 集合 StarVLA/* 托管预训练检查点和数据集。
贡献者列表 – 实时更新于 starvla.github.io/contributors，并通过 contrib.rocks 徽章可视化。
讨论渠道 – README 中的 WeChat 群组和 GitHub Issues（功能请求、错误报告、PR 审核）。
衍生项目 – NeuroVLA、PhysBrain、TwinBrainVLA、LangForce、LaWAM 等，均基于 StarVLA 的核心栈构建。

📚 何时使用 StarVLA？

需要统一的视觉-语言感知与机器人控制流水线的具身AI研究。
无需重写数据流水线即可原型化新动作头或实验不同 VLM 主干。
使用单一代码库在多个模拟/真实机器人套件中进行基准测试。
利用 DeepSpeed、Ascend NPU 或多 GPU 集群进行实验扩展。

📌 引用

若使用 StarVLA，请引用 arXiv 技术报告（2604.05014）——README 提供了最新的 BibTeX 条目。