Qwen-Robot Suite: 物理世界インテリジェンスのための基盤モデルスイート

Qwen-Robot Suiteは、汎用的なマルチモーダル・インテリジェンスを物理的なアクションへと変換するために設計された3つの基盤モデルのコレクションです。視覚と言語の表現空間と物理的な制御の間のギャップを埋めることで、このスイートは、多様なエンボディメント（身体性）を持つロボットがナビゲーション、物体の操作、および世界のダイナミクスを予測することを可能にします。

Qwen-RobotNav: 統合された物理的モビリティ

Qwen-RobotNavは、指示への追従、ポイント/オブジェクト・ゴール・ナビゲーション、ターゲット・トラッキング、および自動運転という5つのナビゲーション・タスク・ファミリーを、単一の重みセットの下に統合します。Qwen3-VLに基づいて構築されており、パラメータ化されたナビゲーション・インターフェースを通じて、これらのタスクの異なるメモリ要件に対処します。

主要な技術的実装

  • Controllable Observation Protocol: モデルは、推論時のパラメータとして4つの軸（visual token budget, temporal decay, per-camera weighting, and frame sample mode）を利用します。これらはトレーニング中にランダム化されるため、アーキテクチャの変更なしに柔軟な構成が可能です。
  • Two-Tier Agentic System: Qwen-RobotNavは再構成可能なプリミティブとして機能します。上位レベルのプランナー（Qwen3.7-Plus）が、長期的な目標をサブタスクに分解し、モデルのタスクモードとコンテキスト戦略を動的に切り替えます。
  • Cross-Embodiment Deployment: モデルはゼロショット汎化性能を示しており、Unitree Go2四足歩行ロボットに内蔵の低解像度カメラのみを使用してデプロイされ、NAVSIMクローズドループ走行において91.4 PDMSを達成しました。

パフォーマンス・ベンチマーク

Qwen-RobotNavは、5つのドメインにわたって最先端（SOTA）の結果を達成しています。これには、VLN-CE RxRにおける76.5%の成功率（SR）や、HM3Dv2オブジェクト・ゴール（RGBのみ）における75.6%のSRが含まれます。

Qwen-RobotManip: スケーラブルなロボット相互作用

Qwen-RobotManipは、異なるロボットアームが異なる関節構成を持つという、ヘテロジニアスなエンボディメントの課題に焦点を当てています。視覚的に類似した動きを数値的に近い空間へと整列させることで、大規模なクロスエンボディメント・トレーニングを可能にします。

整列（Alignment）とスケーリング

  • Unified State-Action Representation: モデルは、シングルアーム、デュアルアーム、器用なハンド、およびモバイル・エンボディメントに共通して使用される、統合された80次元の状態・アクション表現を使用します。
  • Camera-Frame Delta Poses: カメラフレームのエンドエフェクタ・デルタ・ポーズを使用することで、モデルはロボット間の形態学的差異を抽象化します。
  • Human-to-Robot Synthesis: データの不足を克服するため、パイプラインは一人称視点の人間によるビデオをロボットのデモンストレーションに変換します。モデルは、15のエンボディメントにわたる24,808時間の合成されたロボット・デモンストレーションを含む、38,100時間以上のデータでトレーニングされました。

汎化性能の結果

Qwen-RobotManipは、RoboChallenge Table30 v1 ジェネラリスト・トラックにおいて1位（45% SR）を獲得しました。LIBERO-Plusにおいて91.4%の成功率、RoboTwin-C2R Hardにおいて69.4%の成功率を示すなど、顕著な分布外（OOD）汎化性能を示しています。

Qwen-RobotWorld: 予測的な世界のダイナミクス

Qwen-RobotWorldは、現在の観察と自然言語によるアクションに基づいて、物理世界の未来の状態を予測する世界モデルです。世界の状態遷移関数をビデオ生成タスクとして扱います。

技術的アーキテクチャ

  • Language-Driven Action Interface: ステアリング・コマンドやエンドエフェクタ・ポーズを含むすべてのアクションは、自然言語で表現されます。これにより、20種類以上のエンボディメント・タイプと500種類以上のカテゴリのアクションを、Embodied World Knowledgeコーパス（8.6M video-text pairs）を使用して共同トレーニングすることが可能になります。
  • Dual-Stream MMDiT: 60層のdual-stream MMDiTは、Qwen2.5-VLのセマンティック表現とビデオ・レイテントを結合させます。フル・マルチモーダルLLMをアクション・エンコーダーとして使用することで、生成される未来の状態が、内在化された物理法則（例：重力や流体力学）によって制約されることを保証します。

機能

  • Multi-View Consistency: モデルは、単一の指示から、複数のカメラ視点にわたって時間的および空間的に一貫性のあるビデオを生成します。

  • Human-to-Robot Transfer: テレオペレーションを必要とせず、人間のデモンストレーションに基づいた現実的なロボット実行ビデオを生成できます。

ループを閉じる：モデルからエージェントへ

Qwen-Robot Suiteは、言語優先のインターフェースを使用しているため、これらのモデルは汎用的なVLMによってツールとして利用され、複雑なエージェント・システムを構築することが可能です。

Qwen-RobotClaw

Qwen-RobotClawは、ロボティクス・エージェント・ハーネスであり、上位レベルのプランナー（Qwen-3.5など）が物理的な実行のためにスイートのモデルを呼び出すことを可能にします。このアーキテクチャは、以下を可能にします：

  • Open-Ended Task Execution: VLMは、定義済みのリストなしに、リアルタイムでタスクを提案し、実行を判断できます。
  • Long-Horizon Manipulation: 複雑な指示は、原子的なサブタスクに分解されます。上位レベルのプランナーが失敗を検知した場合、再計画（replanning）と新しいサブタスクの発行によって、回復（recovery）が可能です。
  • Embodied QA: Qwen-RobotNavとエージェント・システムを組み合わせることで、複雑な探索、例えば、建物内の特定の部屋を検索し、ユーザーのクエリに答える前に、視覚的証拠によってその状態を検証することなどが可能になります。

Sources