sii-research/tau-0-vla

何を解決するか

τ₀-VLAは、長時間にわたるロボット操作タスク向けに設計されています。異なるロボットの実装間で複雑なアクションの連続を実行する課題に対処するため、高レベルの推論と低レベルの実行を組み合わせています。

動作方法

このモデルは階層的アーキテクチャを使用しています：

1. 高レベルポリシー：メモリ拡張型ポリシーで、次のサブタスクを決定します。複雑な推論が必要な場合、世界モデルガイド付きのテスト時計算を用いて最適な代替アクションを探索します。
2. 低レベルポリシー：選択されたサブタスクを実行する汎用ポリシーです。Qwen3.5の視覚言語バックボーンに基づき、条件付きフロー・マッチングで訓練されたMixture-of-Transformersアクションエキスパートを使用しています。統一された40次元の状態/アクション空間で動作し、40,000時間以上の多様な現実世界のロボットデータで訓練されています。

対象ユーザー

このプロジェクトは、ロボット制御、長時間にわたる操作、汎用ロボットポリシーのための基礎モデルを開発しているロボット研究者および開発者向けです。

主な特徴

• 階層構造：高レベルのサブタスク計画と低レベルの実行を分離しています。
• 世界モデルガイド：テスト時計算を用いて、探索によってサブタスク選択を最適化しています。
• Coflow Matching：アクションエキスパートに条件付きフロー・マッチングを採用しています。
• クロスエムボディメント：異種の現実世界データで訓練され、異なるロボットタイプ間で動作可能になっています。