Qwen-RobotNav: エージェントシステム向けのスケーラブルなナビゲーションモデル

TL;DR

Qwen-RobotNav は、Qwen3-VL バックボーン上に構築されたスケーラブルなナビゲーションモデルで、5 つの異なるナビゲーションタスクを単一の重みセットで統合します。推論時に視覚コンテキストを調整できる制御可能な観測プロトコルを導入し、ビジョン・ランゲージ ナビゲーション、オブジェクト検索、トラッキング、自律走行、エンボディド質問応答において最先端の性能を実現します。

統合マルチドメイン ナビゲーション

Qwen-RobotNav は、単一のモデルと重みセットで 5 つのナビゲーションドメインすべてで最先端（SOTA）結果を達成します。パラメータ数が 2B から 8B に拡大しても性能は一貫して向上します。主なベンチマークは以下です：

  • Vision-Language Navigation (VLN-CE): 8B モデルは RxR ベンチマークで 76.5% の成功率（SR）、R2R で 72.1% の SR を達成しています。
  • Object-Goal Navigation (HM3Dv2): 4B モデルは RGB 観測のみで 75.6% の SR を達成し、深度ベースの手法を上回ります。
  • Active Visual Tracking (EVT-Bench): 4B モデルは 90.0% のトラッキング率に達します。
  • Autonomous Driving (NAVSIM): 4B モデルは 91.4 PDMS を達成し、専門の走行モデルを上回ります。
  • Embodied Question Answering (EQA): エージェントシステムは 3 つのベンチマーク（HM-EQA、MT-EQA、EXPRESS）で新たな SOTA 結果を樹立します。

制御可能な観測プロトコル

Qwen-RobotNav はナビゲーションコンテキストを第一級の外部から制御可能なインターフェースとして扱います。このアプローチにより、指示に従うための長期記憶やターゲット追跡のための高い新鮮さなど、タスクごとの要件にモデルが適応でき、アーキテクチャの変更や再学習を必要としません。

モデルは推論時パラメータとして 4 つの制御軸を公開します：

  1. Visual token budget: すべてのカメラとタイムステップに割り当てられるトークンの総数。
  2. Temporal decay: 最近のフレームと古いフレームに与える重み。
  3. Camera weights: 特定のカメラの相対的重要性（例：前方カメラを優先）。
  4. Frame sample mode: グローバル履歴のランダムサンプリングと、最新フレームの厳密な新鮮さを保つサンプリングの選択。

学習時には、これらのパラメータがサンプルごとにランダム化され、推論時に任意の構成へ汎化できるようにします。

エージェントナビゲーションシステムアーキテクチャ

Qwen-RobotNav は、二層エージェントシステム内の再構成可能なプリミティブとして設計されています：

  • Upper-Level Planner: Qwen3.7-Plus により駆動され、長期目標をサブゴールに分解し、構成可能なナビゲーション呼び出しを送信します。エピソード途中でタスクモードやコンテキスト戦略を動的に切り替えます。
  • Navigation Primitive: Qwen-RobotNav はこれらのセグメントをリアクティブなウェイポイント予測器として実行し、4層 MLP アクションヘッドを通じて 8 つのウェイポイント（位置と向き）を出力します。

長期的な推論を維持するため、システムは二層メモリを使用します：各セグメントのコンパクトな軌道要約と、検索済み領域や除外された仮説を追跡する永続的な「エビデンスノートブック」。

このアーキテクチャにより、EXPRESS-Bench で 15.4% の改善と、従来のベストと比較してナビゲーションステップが 77% 減少しました。

訓練とデータパイプライン

このモデルは、5 つのタスクファミリーにわたる 1560 万サンプルと、ビジョン・ランゲージ 推論データで訓練されました。データセット拡張のため、Qwen はテキストからビデオ生成をナビゲーション軌道に変換する自動パイプラインを導入しました。このプロセスはプロンプト生成、ビデオ合成、VLM 品質フィルタリング、単眼深度推定、運動学フィルタリングを含み、3D シーン再構築を必要とせずに 4 万件のフォトリアリスティックサンプルを追加しました。

実世界でのデプロイと汎化

Qwen-RobotNav は、NVIDIA Jetson Thor を用いたオンデバイス推論で、Unitree Go2 四足ロボットにゼロショットでデプロイされ、レイテンシ 196ms（5.1 Hz）を実現しました。

ロボット内蔵の低解像度カメラのみを使用し、未見の環境でモデルは高い汎化性能を示しました：

  • Instruction Following: ロボットは展示ホールで 21.78 m を成功裏にナビゲートし、指示に従って逆方向に正確にルートをたどりました。
  • Agentic Navigation: システムは、特定のカフェで緑の傘を確認するなどのオープンエンドな要求を、タスクを分解し、ランドマークで位置特定し、エビデンスに基づく回答を提供することで自律的に処理しました。

Sources