Qwen-Drive-1.0 リリースノート / 新機能

TL;DR

Qwen-Drive-1.0は、事前学習中に3D認識と視覚的質問応答（VQA）を統合し、モーションプランニングへと拡張した、自動運転向けの初の視覚言語基盤モデルです。これは、事前学習済みのVLMに外部の認識およびプランニングモジュールを追加することで、汎用的な視覚言語能力を維持しながら、運転に特化したタスクを処理できるように実現されています。

モデルアーキテクチャ

Qwen-Drive-1.0は、ネイティブにマルチモーダルな Qwen3.5-4B をベースに構築されています。このモデルは、元の事前学習済みVLMアーキテクチャを一切変更せずに維持し、代わりに、単一視点、多視点、および時系列画像シーケンスを処理する共有の視覚エンコーダとVLMパスウェイから読み取る2つの外部モジュールを利用しています。

BEV認識ヘッド

BEV（Bird's-Eye View）認識ヘッドは、明示的で検査可能な3Dプローブとして機能します。これは、多視点の単一フレーム入力からBEV表現を構築し、以下の3つの主要なタスクを共同で実行します：

  • 3D物体検出
  • セマンティック・オキュパンシー予測
  • BEVマップ・セグメンテーション

共同学習中、このヘッドからの損失（loss）は、共有の視覚パスウェイへの追加の勾配パスを提供します。

プランニング・エキスパート

Planning Expertは、VLM表現のために設計された拡散トランスフォーマー（diffusion transformer）です。フローマッチング（flow matching）を使用して、5秒間の自車軌跡を生成します。このモジュールは、オプションとしてテキストによるプランニング推論を条件として、軌跡生成をガイドすることができます。

学習手法

汎用VLMを破滅的忘却を起こさずに自動運転に適応させるため、Qwen-Drive-1.0は段階的な学習とデータレシピを採用しています。このプロセスには以下が含まれます：

  • Label Unification: データセット間のラベルを統一。
  • Response Rewriting: 一貫性を保つために回答を書き換え。
  • Sample Filtering: データ品質を確保するためにサンプルをフィルタリング。
  • Hybrid Supervision: 運転に特化したデータと汎用的な視覚言語の教師あり学習を組み合わせる。

パフォーマンスとベンチマーク

運転シーンの理解

Qwen-Drive-1.0-SFTは、優れた運転シーンの理解能力を示し、運転QAの平均スコア79.43を達成し、汎用VLMおよび運転専門モデルの両方を上回りました。主要なベンチマーク結果は以下の通りです：

  • LingoQA: 77.80
  • Ego3D (RMSE): 7.78 (低いほど良い)
  • WaymoQA (All): 74.47
  • SURDS: 66.13

特筆すべきは、モデルが一般的な知識、推論、および認識タスクにおいても高いパフォーマンスを維持していることで、MMBenchで85.53、MMStarで75.87のスコアを獲得しています。

モーションプランニング

Qwen-Drive-1.0は、統一された軌跡フォーマット（10 Hzでの5秒間の予測）を持つ、公開されている2.83百万サンプルのデータで学習されました。オープンループおよびクローズドループ評価において、競争力のある結果を示しています：

  • WOD-E2E (RFS val/test): 8.45 / 7.91
  • WOD-E2E (ADE 5s val/test): 1.27 / 2.67
  • NAVSIM (PDMS): 90.7 (SFTバージョン)
  • AlpaSim (at-fault score): 0.37

将来の展望

Qwen-Drive-1.0は、運転シナリオへの適応のための統一されたベースを確立しましたが、Qwenチームは、今後の開発の主要な焦点として、モデルのテキストによる推論と生成された軌跡との間の一貫性を強化する必要性を特定しています。

Sources