sii-research/tau-0-vla

解決的問題

τ₀-VLA 是為長時程機器人操作任務所設計。它透過結合高階推理與低階執行，解決了在不同機器人實體間執行複雜動作序列的挑戰。

工作原理

此模型採用階層式架構：

1. 高階策略：一種具備記憶增強的策略，用於決定下一個子任務。當需要複雜推理時，會使用世界模型引導的測試時運算，透過搜尋找出最佳替代動作。
2. 低階策略：一種通用策略，用於執行所選的子任務。此策略基於 Qwen3.5 視覺-語言骨幹，並使用透過條件流匹配訓練的 Mixture-of-Transformers 動作專家。它在統一的 40 維狀態/動作空間中運作，並在超過 40,000 小時的多樣化真實世界機器人資料上進行訓練。

適用對象

本專案適用於從事機器人控制、長時程操作與通用機器人策略之基礎模型的研究人員與開發者。

主要特色

• 階層結構：將高階子任務規劃與低階執行分離。
• 世界模型引導：利用測試時運算，透過搜尋優化子任務選擇。
• Coflow 匹配：為動作專家採用條件流匹配方法。
• 跨實體兼容：在異質真實世界資料上訓練，可在不同機器人類型間通用。