xiaomi-research/recogdrive

[ICLR 2026] ReCogDrive: A Reinforced Cognitive Framework for End-to-End Autonomous Driving

ReCogDrive – クイック概要

これは何か: ReCogDrive は、大規模視覚言語モデル（VLM）と拡散ベースの軌跡プランナーを組み合わせた、研究グレードのエンドツーエンド自動運転システムです。このフレームワークは、モデルに運転シーンの認知的な理解（QA形式の事前学習による）を与え、その知識を安全で連続的な車両軌道に変換するように設計されています。

主要なアイデア

階層的データパイプライン – 運転データは、人間のドライバーが行動する前に考える方法を模倣した、3段階の「生成→洗練→品質管理」プロセスに変換されます。
VLM + 拡散プランナー – VLM は大規模な QA データセットから運転の事前知識を学習します。その事前知識は、滑らかな軌道を直接出力する拡散プランナーに注入され、以前の方法で行動をテキストとして記述しようとした際の「言語と行動の不一致」を回避します。
DiffGRPO – プランナーを安全性と快適性のために微調整する、強化学習スタイルの「拡散グループ相対方最適化」ステップ。

なぜ重要なのか: 従来のエンドツーエンド運転モデルは、個別の制御コマンドを出力するか、計画を言語生成問題として扱うため、違法またはぎくしゃくした動きを生成する可能性があります。ReCogDrive の拡散ベースのプランナーは、VLM の豊富な世界知識の恩恵を受けながら、連続的で実現可能な経路を生成します。

はじめに（README より）

データ – 公式の NAVSIM 手順に従って NAVSIM データセットをダウンロードします。
環境 – docs/Installation.md ガイドに従って、必要な Python パッケージと CUDA 依存関係をセットアップします。
トレーニング/評価 – docs/Train_Eval.md で説明されているスクリプトを使用して、VLM ステージ、模倣学習（IL）ステージ、強化学習（RL）ステージをトレーニングし、NAVSIM、Bench2Drive、DriveLM などで評価します。

利用可能なチェックポイント

モデル	サイズ	トレーニングステージ	PDMS (NAVSIM)	ダウンロード
ReCogDrive-Base-VLM	2 B	ステージ 1 (VLM 事前学習)	84.1	HuggingFace
ReCogDrive-Base-IL	2 B + 35 M	ステージ 1 および 2 (VLM + 模倣)	86.5	HuggingFace
ReCogDrive-Base-RL	2 B + 35 M	ステージ 1-3 (VLM + 模倣 + RL)	90.8	HuggingFace
ReCogDrive-Large-VLM	8 B	ステージ 1	86.4	HuggingFace
ReCogDrive-Large-IL	8 B + 35 M	ステージ 1 および 2	86.5	HuggingFace
ReCogDrive-Large-RL	8 B + 35 M	ステージ 1-3	90.4	HuggingFace

表には、ReCogDrive が成功率、安全性、総合スコアでリードする Bench2Drive (CARLA) および DriveLM/DriveBench のベンチマーク結果もリストされています。

運転事前学習データセット

ReCogDrive は、12 のオープンソース運転 QA データセット（例：NAVSIM-Traj、DriveLM、NuInstruct、Nuscenes-QA、OmniDrive、Senna、LingoQA など）で事前学習されています。

著者らは、これらの多くを大規模 VLM Qwen2.5VL-72B で再アノテーションし、品質でフィルタリングして、結果の JSONL ファイルを HuggingFace で公開しました。
軽量な実験のために、単一のデータセット（例：NAVSIM-Traj + NAVSIM-ReCogDrive）を選択しても、競争力のあるパフォーマンスを得ることができます。

注目すべき結果

NAVSIM – PDMS は最大 90.8 (Base-RL) および 90.4 (Large-RL)。
Bench2Drive (CARLA) – 成功率 45.45%（リストされた方法の中で最高）、高い安全性 (DS 71.36) および強力なマルチアビリティスコア（例：追い越しで 69.09%）。
DriveLM / DriveBench – GPT-スコア 67.30、Lingo-Judge 67.20、平均 DriveBench 56.71、以前のベースラインを上回る。

詳細情報

論文 – arXiv: 2506.08052 (ICLR 2026)。
プロジェクトページ – https://xiaomi-research.github.io/recogdrive/ (ビジュアライゼーション、詳細な方法論、ダウンロードリンクを含む)。
コードとモデル – https://github.com/xiaomi-research/recogdrive (現在読んでいるリポジトリ)。
関連研究 – 著者らは、統一された視覚言語行動モデルのためのフォローアッププロジェクト「UniDriveVLA」を指摘しています。

誰がこれを使うべきか？

研究者 – VLM ベースの計画、拡散ベースの軌跡生成、または自動運転のための強化学習を探求している方。
エンジニア – 大規模な言語基盤知識を統合したエンドツーエンド運転の強力なベースラインを必要とする自動車またはロボティクス企業の方。
学生 – 知覚、認知、制御の相互作用を研究するために、完全なパイプライン（データ、事前学習、IL、RL、評価）を探している方。

引用

@inproceedings{li2026recogdrive,
  author = {Li, Yongkang and Xiong, Kaixin and Guo, Xiangyu and Li, Fang and Yan, Sixu and Xu, Gangwei and Zhou, Lijun and Chen, Long and Sun, Haiyang and Wang, Bing and Ma, Kun and Chen, Guang and Ye, Hangjun and Liu, Wenyu and Wang, Xinggang},
  booktitle = {International Conference on Learning Representations},
  title = {ReCogDrive: A Reinforced Cognitive Framework for End-to-End Autonomous Driving},
  year = {2026},
  pages = {157518--157556},
  url = {https://proceedings.iclr.cc/paper_files/paper/2026/file/ff7bf6014f7826da531aa50f4538ee19-Paper-Conference.pdf}
}

結論: ReCogDrive は、大規模な視覚言語理解と拡散ベースのモーションプランニングを融合したフルスタックの研究プラットフォームであり、いくつかの自動運転ベンチマークで最先端のパフォーマンスを提供し、結果を再現するために必要なすべてのデータ、モデル、スクリプトを提供します。