xiaomi-research/recogdrive

[ICLR 2026] ReCogDrive: A Reinforced Cognitive Framework for End-to-End Autonomous Driving

ReCogDrive – 快速概览

这是什么：ReCogDrive 是一个研究级的端到端自动驾驶系统，结合了大规模视觉语言模型（VLM）和基于扩散的轨迹规划器。该框架旨在让模型对驾驶场景有认知理解（通过问答式预训练），然后将这些知识转化为安全、连续的车辆轨迹。

核心思想

分层数据管道 – 驾驶数据被转化为三阶段“生成 → 细化 → 质量控制”过程，模拟人类驾驶员在行动前的思考方式。
VLM + 扩散规划器 – VLM 从大规模 QA 数据集中学习驾驶先验；这些先验被注入直接输出平滑轨迹的扩散规划器中，避免了早期方法试图将动作写成文本时的“语言-动作不匹配”问题。
DiffGRPO – 一种强化学习风格的“扩散组相对策略优化”步骤，用于微调规划器以提高安全性和舒适性。

为什么重要：传统的端到端驾驶模型要么输出离散控制命令，要么将规划视为语言生成问题，这可能会产生非法或生涩的动作。ReCogDrive 的基于扩散的规划器生成连续、可行的路径，同时仍然受益于 VLM 的丰富世界知识。

快速开始（来自 README）

数据 – 按照官方 NAVSIM 说明下载 NAVSIM 数据集。
环境 – 按照 docs/Installation.md 指南设置所需的 Python 包和 CUDA 依赖项。
训练/评估 – 使用 docs/Train_Eval.md 中描述的脚本训练 VLM 阶段、模仿学习（IL）阶段和强化学习（RL）阶段，然后在 NAVSIM、Bench2Drive、DriveLM 等上评估。

可用检查点

模型	大小	训练阶段	PDMS (NAVSIM)	下载
ReCogDrive-Base-VLM	2 B	阶段 1 (VLM 预训练)	84.1	HuggingFace
ReCogDrive-Base-IL	2 B + 35 M	阶段 1 和 2 (VLM + 模仿)	86.5	HuggingFace
ReCogDrive-Base-RL	2 B + 35 M	阶段 1-3 (VLM + 模仿 + RL)	90.8	HuggingFace
ReCogDrive-Large-VLM	8 B	阶段 1	86.4	HuggingFace
ReCogDrive-Large-IL	8 B + 35 M	阶段 1 和 2	86.5	HuggingFace
ReCogDrive-Large-RL	8 B + 35 M	阶段 1-3	90.4	HuggingFace

表格中还列出了 Bench2Drive (CARLA) 和 DriveLM/DriveBench 的基准测试结果，其中 ReCogDrive 在成功率、安全性和综合得分方面领先。

驾驶预训练数据集

ReCogDrive 在 12 个开源驾驶 QA 数据集（例如 NAVSIM-Traj、DriveLM、NuInstruct、Nuscenes-QA、OmniDrive、Senna、LingoQA 等）上进行预训练。

作者使用大型 VLM Qwen2.5VL-72B 对其中许多数据重新标注，进行质量过滤，并在 HuggingFace 上发布了生成的 JSONL 文件。
对于轻量级实验，可以选择单个数据集（例如 NAVSIM-Traj + NAVSIM-ReCogDrive），仍然可以获得有竞争力的性能。

显著成果

NAVSIM – PDMS 高达 90.8（Base-RL）和 90.4（Large-RL）。
Bench2Drive (CARLA) – 成功率 45.45%（所列方法中最高），高安全性（DS 71.36）和强大的多能力得分（例如超车时 69.09%）。
DriveLM / DriveBench – GPT-评分 67.30，Lingo-Judge 67.20，平均 DriveBench 56.71，优于之前的基线。

谁可以使用？

研究人员 – 探索基于 VLM 的规划、基于扩散的轨迹生成或自动驾驶强化学习的研究人员。
工程师 – 在汽车或机器人公司工作的工程师，需要已经集成了大规模语言知识的端到端驾驶的强基线。
学生 – 寻找完整管道（数据、预训练、IL、RL、评估）来研究感知、认知和控制之间交互的学生。

引用

@inproceedings{li2026recogdrive,
  author = {Li, Yongkang and Xiong, Kaixin and Guo, Xiangyu and Li, Fang and Yan, Sixu and Xu, Gangwei and Zhou, Lijun and Chen, Long and Sun, Haiyang and Wang, Bing and Ma, Kun and Chen, Guang and Ye, Hangjun and Liu, Wenyu and Wang, Xinggang},
  booktitle = {International Conference on Learning Representations},
  title = {ReCogDrive: A Reinforced Cognitive Framework for End-to-End Autonomous Driving},
  year = {2026},
  pages = {157518--157556},
  url = {https://proceedings.iclr.cc/paper_files/paper/2026/file/ff7bf6014f7826da531aa50f4538ee19-Paper-Conference.pdf}
}

结论：ReCogDrive 是一个全栈研究平台，融合了大规模视觉-语言理解和基于扩散的运动规划，在多个自动驾驶基准测试中提供最先进的性能，并提供重现结果所需的所有数据、模型和脚本。