sii-research/tau-0-vla

This repo is the official implementation of "τ0-VLA: a Hierarchical Robot Foundation Model with World-Model-Guided Test-Time Computation".

解决的问题

τ₀-VLA 解决了长程机器人操作任务的挑战。它提供了一个层级式框架，能够规划高阶子任务，并通过适用于不同机器人实体的通用低阶策略来执行这些任务。

运作原理

该系统采用双层架构：

  1. 高阶策略：一个记忆增强型规划器（Proposal），用于预测下一个子任务。它利用世界模型生成目标图像，使系统在测试时计算需要复杂推理时，能够搜索更好的替代方案。
  2. 低阶策略：一个通用执行器，将子任务转换为机器人动作。它结合了 Qwen3.5 视觉语言骨干与 Mixture-of-Transformers 动作专家，通过条件流匹配（conditional flow matching）在超过 40,000 小时的多样化真实世界机器人数据上进行训练。

适用对象

致力于机器人基础模型、具身智能以及跨各种机器人硬件平台的长程操作任务的研究人员与开发者。

特点

  • 层级式结构：将高阶规划与低阶执行分离，以实现更好的长期任务管理。
  • 世界模型引导：利用世界模型生成目标图像，用于测试时推理与子任务优化。
  • 跨实体能力：统一的 40 维状态/动作空间，使低阶策略能够跨不同机器人使用。
  • 广泛训练：在 40,115 小时的异质真实世界机器人数据集上进行预训练。

相关

  • 项目
    starVLA/starVLA

    StarVLA 是一个模块化、开源的视觉-语言-动作研究平台，提供即插即用的主干、多种动作头和多个机器人基准的现成流水线。

  • Dispatch
    pi0 and pi0-FAST：用于通用机器人控制的视觉-语言-动作模型

    Hugging Face 已将由 Physical Intelligence 开发的通用视觉-语言-动作 (VLA) 模型 pi0 和 pi0-FAST 集成到 LeRobot 仓库中，以实现跨多种形态的通用机器人控制。

  • 项目
    Robbyant/lingbot-vla-v2

    LingBot‑VLA 2.0 是一个用于机器人的开源视觉‑语言‑动作基础模型。它将多种机器人形态统一为 55 维动作向量，利用 MoE 层与双查询蒸馏（深度 + 未来视频）来学习预测动力学，并在约 6 万小时的机器人与自我中心视频数据上进行训练。该仓库提供基于 conda 的安装方式、下载 6B 参数检查点的脚本、数据准备工具、自定义数据集微调，以及在 RoboTwin 基准测试与真实机器人上的评估。报告显示，在双臂与移动操作任务上，其表现较 1.0 版本有显著提升。

  • 项目
    OpenBMB/DeepThinkVLA

    DeepThinkVLA 是一个视觉-语言-动作模型，它在生成机器人动作前插入一个显式的链式思维推理步骤。采用混合解码器（自回归推理 → 双向并行动作生成），作者在新构建的具身CoT数据集上训练，再通过成果驱动的强化学习进行优化。该模型在LIBERO基准上实现97 %的平均成功率，推理延迟仅为纯自回归基线的0.175×，并能零样本迁移到更新的LIBERO Plus套件。

  • 项目
    MINT-SJTU/Evo-1

    Evo-1 是一款用于机器人操作的轻量级视觉-语言-动作 (VLA) 模型，能将视觉与文本指令转换为机器人动作，适用于各种模拟环境与真实硬件。