sii-research/tau-0-vla

解决的问题

τ₀-VLA 专为长时程机器人操作任务设计。它通过结合高层推理与低层执行，解决了在不同机器人形态间执行复杂动作序列的挑战。

工作原理

该模型采用分层架构：

1. 高层策略：一种带记忆增强的策略，用于决定下一个子任务。当需要复杂推理时，采用世界模型引导的运行时计算，通过搜索寻找最佳替代动作。
2. 低层策略：一种通用策略，用于执行选定的子任务。该策略基于 Qwen3.5 视觉-语言骨干网络，并使用通过条件流匹配训练的 Mixture-of-Transformers 动作专家。它在统一的 40 维状态/动作空间中运行，并在超过 40,000 小时的多样化真实世界机器人数据上进行了训练。

适用人群

本项目适用于从事机器人控制、长时程操作以及通用机器人策略的基础模型研究与开发的机器人研究人员和开发者。

主要亮点

• 分层结构：将高层子任务规划与低层执行分离。
• 世界模型引导：利用运行时计算，通过搜索优化子任务选择。
• Coflow 匹配：为动作专家采用条件流匹配方法。
• 跨形态兼容：在异构真实世界数据上训练，可在不同机器人类型间通用。