sii-research/tau-0-vla
This repo is the official implementation of "τ0-VLA: a Hierarchical Robot Foundation Model with World-Model-Guided Test-Time Computation".
解決する課題
τ₀-VLA は、長期間のロボット操作タスクという課題に対処します。これは、高レベルのサブタスクを計画し、さまざまなロボットの形態に対応する汎用的な低レベルポリシーを通じてそれらを実行できる階層型フレームワークを提供します。
仕組み
このシステムは2層アーキテクチャを使用しています：
- 高レベルポリシー: 次のサブタスクを予測するメモリ拡張型プランナー（Proposal）。世界モデルを使用して目標画像を生成し、テスト時の計算中に複雑な推論が必要な場合に、システムがより良い代替案を探索できるようにします。
- 低レベルポリシー: サブタスクをロボットの動作に変換する汎用実行エンジン。Qwen3.5 ビジョン言語バックボーンと、40,000時間以上の多様な実世界のロボットデータを用いた条件付きフローマッチング（conditional flow matching）によってトレーニングされた Mixture-of-Transformers アクションエキスパートを組み合わせています。
対象読者
ロボット基盤モデル、具身化知能、およびさまざまなロボットハードウェアプラットフォームにわたる長期間の操作タスクに取り組む研究者や開発者。
ハイライト
- 階層構造: 高レベルの計画と低レベルの実行を分離し、長期的なタスク管理を向上させます。
- 世界モデルによるガイダンス: 世界モデルを使用して、テスト時の推論とサブタスクの洗練のための目標画像を生成します。
- クロスエンボディメント: 統一された40次元の状態/動作空間により、低レベルポリシーを異なるロボット間で利用可能です。
- 広範なトレーニング: 40,115時間という膨大な異種の実世界ロボットデータセットで事前トレーニングされています。
関連
- プロジェクト
- Dispatch
- プロジェクト
- プロジェクト
- プロジェクト