Qwen Robot Suite：ナビゲーション、マニピュレーション、そして世界モデリングのための統一基盤モデル

TL;DR

QwenはQwen‑Robot Suiteを発表しました。これは Qwen‑RobotNav、Qwen‑RobotManip、Qwen‑RobotWorld の3つの基盤モデルから成り、言語レベルの知能を具体的な物理アクションに変換し、単一のエージェントシステムがナビゲーション、マニピュレーション、そして世界のダイナミクス予測を数十のロボット具現化にわたって実行できるようにします。

Overview of the Qwen‑Robot Suite

Qwen‑Robot Suiteは、ビジョン‑言語理解と具現化制御の長年のギャップを埋めることを目的して設計されました。3つの専門化された基盤モデルを提供し、自然言語指示をそれぞれ異なるアクション領域に合わせます。

  • Qwen‑RobotNav – 言語をナビゲーションや走行のためのモビリティコマンドに変換します。
  • Qwen‑RobotManip – 言語を多様なロボットアームに跨るマニピュレーションアクションにマッピングします。
  • Qwen‑RobotWorld – 言語条件付きアクションから将来のビデオフレームを予測し、実質的に世界ダイナミクスモデルを学習します。

3つすべてがlanguage‑firstインターフェースを公開しており、上位のQwenモデル（例：Qwen‑3.7‑Plus）がより広範なエージェントアーキテクチャ内で再利用可能なツールとして呼び出すことができます。

Qwen‑RobotNav: Unified Mobility Across Five Domains

Key technical contributions

  • Qwen3‑VLを基盤とし、タスクモード（指示従順、オブジェクト検索、トラッキング、自律走行、具現化質問応答）と4軸のcontrollable observation protocol（視覚トークン予算、時間的減衰、カメラごとの重み付け、フレームサンプリング）を持つparameterised navigation interfaceを導入しました。
  • 15.6 M のナビゲーションサンプルで学習し、視覚‑言語データと同時に訓練して基礎的な知覚を保持しています。
  • 2層システムを採用：上位プランナー（Qwen‑3.7‑Plus）が長期目標を分解し、エピソード途中でタスクモードと観測設定を動的に切り替えます。

Performance highlights

  • 5つのベンチマークで最先端の成功率を記録：VLN‑CE RxRで76.5 % SR、HM3Dv2 object‑goal（RGBのみ）で75.6 % SR、EVT‑Benchで90.0 % トラッキング率、NAVSIMで91.4 % PDMS、3つのEmbodied QAデータセットで新ベストを達成。
  • パラメータ数が2 Bから8 Bへ対数線形にスケールします。
  • Unitree Go2四足ロボット（NVIDIA Jetson Thor、196 ms レイテンシ）上でゼロショット展開し、内蔵の低解像度カメラだけでマルチルームの自然言語指示に成功裏に従いました。

Implications 制御可能な観測プロトコルにより、単一モデルが再構成可能なナビゲーションプリミティブとして任意のエージェントシステムに利用でき、タスク固有のアーキテクチャが不要になり、永続メモリを伴う長期推論をサポートします。

Qwen‑RobotManip: Cross‑Embodiment Manipulation Foundation

Core alignment mechanisms

  1. Unified 80‑dimensional state‑action space が単腕、双腕、デクスタスハンド、モバイルロボットで共有されます。
  2. Camera‑frame end‑effector delta poses により、視覚的に類似した動作が数値的に近くなり、形態的差異を抽象化します。
  3. In‑context policy adaptation が実行履歴を暗黙の具現化シグネチャとして読み取り、オンザフライで適応します。

Training data

  • >38 100 hours のオープンソースデータで構成され、
    • 11 320 h のロボットデモンストレーション、
    • 1 933 h のエゴセントリックヒューマンビデオ、
    • 24 808 h のヒューマンビデオから15種の具現化向けに合成されたロボットデモンストレーション（アクションリターゲティング、手除去、シミュレートレンダリング、深度誘導合成） を含みます。

Benchmark results

  • LIBERO‑Plus: 91.4 %（+7.0 over π0.5 baseline）
  • RoboTwin‑C2R Hard: 69.4 %（+21.5）
  • RoboCasa365 Composite‑Unseen: 14.9 %（次ベストの3倍）
  • EBench: 45.6 %（+18.5）
  • RoboTwin‑IF: 72.0 %（+22.4）
  • RoboChallenge Table30 v1 Generalist Trackで**#1**を獲得、トップ2ポジションを独占し、3位との差は20 %です。

Implications 統一表現はスケーリングの前提条件であることが示されました：UnifiedSpace + UnifiedEEF 形式を持つモデルだけがデータ量増加に対してクリーンな対数線形性能向上を示します。これにより単一ポリシーが多様なマニピュレーションタスクを処理し、ゼロショットの跨具現化転移や高レベル再計画によるエラー回復が可能になります。

Qwen‑RobotWorld: Language‑Conditioned World Modeling

Design philosophy

  • アクションは自然言語のみで表現され、エンドエフェクタ姿勢、ステアリングコマンド、ナビゲーションウェイポイントを単一インターフェースに統合します。
  • Embodied World Knowledge corpus で学習：8.6 M のビデオ‑テキストペア（>200 M フレーム）をカバーし、20種以上のロボット具現化と500種以上のアクションカテゴリに跨ります。

Model architecture

  • 60層のデュアルストリーム MMDiT が Qwen2.5‑VL のセマンティック埋め込みとビデオ潜在表現を結合します。
  • アクションエンコーダは フルマルチモーダル LLM（軽量テキストエンコーダではなく）で、剛体、流体力学、重力といった物理知識を内部化し、物理的に妥当な未来を生成します。

Performance and capabilities

  • EWMBench で総合1位（モーション忠実度で2位比+33 %）および DreamGen Bench で1位。
  • WorldModelBench と PBBench でオープンソース1位（ニュートン力学、質量保存、流体力学の完全遵守）。
  • キーワード感度の高い細粒度未来を生成（例："赤いイチゴ" を "黄色いジャガイモ" に置換すると予測結果が変化）。
  • 時空間的に一貫したマルチビュー動画を生成し、シム‑トゥ‑リアル転移やマルチカメラポリシー学習を促進。
  • ゼロショットのヒューマン‑トゥ‑ロボット転移を実現：単一のヒューマンデモが複数具現化（例：Kinova Gen3、KUKA iiwa、xArm7）でリアルなロボット実行に変換されます。

Implications 統一された世界ダイナミクスモデルを学習することで、Qwen‑RobotWorld は合成データエンジンかつ閉ループ評価器として機能し、マニピュレーション、ナビゲーション、走行タスクが相互に物理理解を強化し合う基盤を提供します。

From Models to Agents: Closing the Loop

スイートのlanguage‑first API により、汎用 Qwen モデルが高レベルプランナーとして機能し、低レベル実行は専門化されたスイートモデルに委譲できます。実証された応用例は以下の通りです。

  • Open‑ended task execution: Qwen‑Omni が音声でマニピュレーションタスクを提案し、リアルタイムで結果を評価、事前定義されたタスクリストなしで Qwen‑RobotManip に実行を委譲します。
  • Long‑horizon manipulation: Qwen‑3.5 プランナーが複雑なテーブルトップ清掃指示を原子的サブタスクに分解し、Qwen‑RobotManip が各サブタスクを実行。分布外シーンでも堅牢に動作し、失敗後は自動再計画が行われます。
  • Agentic navigation & embodied QA: Qwen‑RobotNav と高レベルプランナーを組み合わせることで、Embodied Question Answering ベンチマーク（HM‑EQA、MT‑HM3D、EXPRESS‑Bench）で最先端結果を達成し、実世界デモとして建物内の開放トイレを探し出すタスクを実演。
  • Chat2Robot demo: 実験的なウェブインターフェースでユーザーが自然言語コマンドを入力すると、Qwen‑RobotManip がリアルタイムで実行（現在は RoboTwin‑Clean データセットの 50 タスクに限定）。

これらの統合は、スイートが任意のマルチモーダル LLM に対する物理世界ツールキットとして機能し、抽象的推論を具体的なロボットアクションへ変換できることを示しています。

Future Directions

Qwen は以下の未解決課題を挙げています：

  • 接触が豊富で長期的なタスク、継続的学習が必要なシナリオ。
  • 汎用プランナーと物理実行体間のより緊密で低レイテンシな結合。
  • 触覚フィードバックや音声など、よりリッチな人間‑ロボット‑環境相互作用モーダリティ。

ロードマップはマルチモーダル知覚のスケーリング、言語‑アクション整合性の洗練、具現化とアクションカテゴリの拡充に重点を置きます。

Citation

@article{qwenrobotnav,
  title   = {Qwen-RobotNav: A Scalable Navigation Model Designed for an Agentic Navigation System},
  author  = {Qwen Team},
  year    = {2026}
}
@article{qwenrobotmanip,
  title   = {Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models},
  author  = {Qwen Team},
  year    = {2026}
}
@article{qwenrobotworld,
  title   = {Qwen-RobotWorld Technical Report: Unifying Embodied World Modeling through Language-Conditioned Video Generation},
  author  = {Qwen Team},
  year    = {2026}
}

Sources