Robbyant/lingbot-vla-v2

LingBot‑VLA 2.0 – 用于机器人的视觉‑语言‑动作模型

简介 – 这是一个开源基础模型，接收视觉输入（图像/视频）与语言指令，并为多种机器人形态（手臂、手部、腰部、头部、移动底座等）预测统一的 55 维动作向量。它在约 6 万小时的数据上进行训练，混合了机器人轨迹（来自 20 种机器人配置的约 5 万小时数据）与人类自我中心视频（约 1 万小时）。该模型旨在连接大规模预训练与真实世界的机器人部署。

核心概念

• 统一动作表示 – 所有形态都被投影到单一 55 维向量中，使同一模型可用于截然不同的机器人。
• 专家混合 (MoE) 动作专家 – 稀疏 MoE 层让网络在保持计算预算固定的同时，学习通用先验与特定形态的模式。
• 双查询蒸馏 – 当前帧与未来帧的视觉查询从深度教师 (LingBot‑Depth) 与视频语义教师 (DINO‑Video) 中蒸馏，赋予模型几何与预测动力学能力。
• 预测动力学任务 – 模型同时被训练以预测未来的视觉特征，提升其规划能力。
• 扩展动作空间 – 支持手臂、末端执行器、夹爪、灵巧手、腰部、头部与移动底座信号（旧版本仅处理双臂操作）。

安装 (conda + PyTorch 2.8)

git clone https://github.com/Robbyant/lingbot-vla-v2.git
cd lingbot-vla-v2
bash tools/create_train_env.sh   # 建立 conda 环境，安装 flash‑attn 2.8.3

可选标志允许您指向预先构建的 flash‑attn wheel、重新命名环境或强制重新构建。

预训练模型 – 以 native‑depth 检查点（6B 参数）发布。通过提供的脚本或从 Hugging Face / ModelScope 下载：

python3 scripts/download_hf_model.py \
  --repo_id robbyant/lingbot-vla-v2-6b \
  --local_dir lingbot-vla

检查点需要额外的教师权重（Qwen3‑VL‑4B‑Instruct, MoGe‑2‑vitb‑normal, LingBot‑Depth, DINO‑VIDEO），这些权重列在 README 中。

训练 / 微调

1. 数据准备 – 建立 LeRobot 风格的数据集，编写将原始状态映射到 55 维向量的机器人配置 YAML，并计算标准化统计数据 (assets/norm_stats/*.json)。
2. 执行 – 示例指令在 RoboTwin 2.0 50 个任务套件上进行训练：

bash train.sh tasks/vla/train_lingbotvla.py ./configs/vla/robotwin/robotwin.yaml \
  --data.train_path assets/training_data/robotwin.txt \
  --data.data_name multi \
  --train.output_dir output/

支持 Muon 优化器及其基于 TorchTitan 的 FlexShard/FSDP2 构建的分布式变体 (Distributed Muon)。

评估

• 开环 (离线模拟) 通过 scripts/open_loop_eval.py – 需要机器人配置名称 (--robo_name robotwin)。
• RoboTwin 基准测试 – bash 启动器在 GPU 集群上执行所有 50 个任务，报告干净与随机化环境下的成功率。
• 真实机器人部署 – deploy.lingbot_vla_v2_policy 执行单次推理调用（在 RTX 4090D 上约 130 ms，包含 10 次去噪步骤）并将动作流传输至机器人。

性能亮点 (如论文与 README 所述)

• GM‑100 双臂操作 – 在 AgileX Cobot Magic 上成功率从 58.2 % (VLA‑1.0) 提升至 66.2 % (VLA 2.0)。
• 长程移动任务 – 例如，领域内冰箱分类成功率 77.1 % (VLA 2.0) 对比 65.3 % (π₀.₅ 基线)。
• RoboTwin 2.0 模拟 – 干净任务成功率 93.5 % (VLA 2.0) 对比 88.6 % (VLA‑1.0)；随机化环境 92.8 % 对比 86.7 %。
• 训练速度 – Distributed Muon 在单个 H20 GPU 上将单次迭代时间从 5.93 s 缩短至 4.31 s（快约 37 %）。

授权 – Apache‑2.0。

引用 – 使用提供的 BibTeX 条目 (arXiv:2607.06403, 2026)。

适用对象 – 构建通用机器人策略的研究人员、需要单一模型控制多种机器人形态的工程师，以及对可在自定义数据集上微调的视觉‑语言‑动作基础模型感兴趣的人士。