xiaomi-research/recogdrive

ReCogDrive – 빠른 개요

이것이 무엇인가: ReCogDrive는 대규모 비전-언어 모델(VLM)과 확산 기반 궤적 플래너를 결합한 연구용 엔드투엔드 자율주행 시스템입니다. 이 프레임워크는 모델에게 QA 스타일 사전 학습을 통해 운전 장면에 대한 인지적 이해를 제공하고, 그 지식을 안전하고 연속적인 차량 궤적으로 변환하도록 설계되었습니다.

주요 아이디어

1. 계층적 데이터 파이프라인 – 운전 데이터는 인간 운전자가 행동하기 전에 생각하는 방식을 모방한 3단계 '생성 → 정제 → 품질 관리' 프로세스로 변환됩니다.
2. VLM + 확산 플래너 – VLM은 대규모 QA 데이터셋에서 운전 사전 지식을 학습합니다. 이러한 사전 지식은 부드러운 궤적을 직접 출력하는 확산 플래너에 주입되어, 이전 방법에서 행동을 텍스트로 작성하려고 할 때 발생하는 '언어-행동 불일치'를 방지합니다.
3. DiffGRPO – 안전성과 편안함을 위해 플래너를 미세 조정하는 강화학습 스타일의 '확산 그룹 상대 정책 최적화' 단계.

왜 중요한가: 기존의 엔드투엔드 주행 모델은 개별 제어 명령을 출력하거나 계획을 언어 생성 문제로 취급하여 불법적이거나 급격한 움직임을 생성할 수 있습니다. ReCogDrive의 확산 기반 플래너는 VLM의 풍부한 세계 지식의 이점을 누리면서도 연속적이고 실현 가능한 경로를 생성합니다.

---

시작하기 (README에서)

1. 데이터 – 공식 NAVSIM 지침에 따라 NAVSIM 데이터셋을 다운로드합니다.
2. 환경 – docs/Installation.md 가이드에 따라 필요한 Python 패키지와 CUDA 종속성을 설정합니다.
3. 훈련/평가 – docs/Train_Eval.md에 설명된 스크립트를 사용하여 VLM 단계, 모방 학습(IL) 단계, 강화 학습(RL) 단계를 훈련한 다음 NAVSIM, Bench2Drive, DriveLM 등에서 평가합니다.

---

사용 가능한 체크포인트

모델	크기	훈련 단계	PDMS (NAVSIM)	다운로드
ReCogDrive-Base-VLM	2 B	1단계 (VLM 사전 학습)	84.1	HuggingFace
ReCogDrive-Base-IL	2 B + 35 M	1 및 2단계 (VLM + 모방)	86.5	HuggingFace
ReCogDrive-Base-RL	2 B + 35 M	1-3단계 (VLM + 모방 + RL)	90.8	HuggingFace
ReCogDrive-Large-VLM	8 B	1단계	86.4	HuggingFace
ReCogDrive-Large-IL	8 B + 35 M	1 및 2단계	86.5	HuggingFace
ReCogDrive-Large-RL	8 B + 35 M	1-3단계	90.4	HuggingFace

표에는 ReCogDrive가 성공률, 안전성, 종합 점수에서 선두를 달리고 있는 Bench2Drive(CARLA) 및 DriveLM/DriveBench의 벤치마크 결과도 나열되어 있습니다.

---

운전 사전 학습 데이터셋

ReCogDrive는 12개의 오픈소스 운전 QA 데이터셋(예: NAVSIM-Traj, DriveLM, NuInstruct, Nuscenes-QA, OmniDrive, Senna, LingoQA 등)으로 사전 학습됩니다.

• 저자들은 이들 중 상당수를 대규모 VLM Qwen2.5VL-72B로 재주석하고 품질로 필터링하여 결과 JSONL 파일을 HuggingFace에 공개했습니다.
• 가벼운 실험을 위해 단일 데이터셋(예: NAVSIM-Traj + NAVSIM-ReCogDrive)을 선택해도 경쟁력 있는 성능을 얻을 수 있습니다.

---

주목할 만한 결과

• NAVSIM – PDMS 최대 90.8 (Base-RL) 및 90.4 (Large-RL).
• Bench2Drive (CARLA) – 성공률 45.45%(나열된 방법 중 최고), 높은 안전성(DS 71.36) 및 강력한 멀티 능력 점수(예: 추월 시 69.09%).
• DriveLM / DriveBench – GPT-점수 67.30, Lingo-Judge 67.20, 평균 DriveBench 56.71, 이전 기준선을 능가.

---

추가 정보

• 논문 – arXiv: 2506.08052 (ICLR 2026).
• 프로젝트 페이지 – https://xiaomi-research.github.io/recogdrive/ (시각화, 상세 방법론, 다운로드 링크 포함).
• 코드 및 모델 – https://github.com/xiaomi-research/recogdrive (현재 읽고 있는 저장소).
• 관련 연구 – 저자들은 통합 비전-언어-행동 모델을 위한 후속 프로젝트 'UniDriveVLA'를 지적합니다.

---

누가 사용해야 하나?

• 연구자 – VLM 기반 계획, 확산 기반 궤적 생성 또는 자율주행을 위한 강화 학습을 탐구하는 연구자.
• 엔지니어 – 대규모 언어 기반 지식을 통합한 엔드투엔드 주행을 위한 강력한 기준선이 필요한 자동차 또는 로봇 공학 기업의 엔지니어.
• 학생 – 지각, 인지, 제어 간의 상호 작용을 연구하기 위해 완전한 파이프라인(데이터, 사전 학습, IL, RL, 평가)을 찾는 학생.

---

인용

@inproceedings{li2026recogdrive,
  author = {Li, Yongkang and Xiong, Kaixin and Guo, Xiangyu and Li, Fang and Yan, Sixu and Xu, Gangwei and Zhou, Lijun and Chen, Long and Sun, Haiyang and Wang, Bing and Ma, Kun and Chen, Guang and Ye, Hangjun and Liu, Wenyu and Wang, Xinggang},
  booktitle = {International Conference on Learning Representations},
  title = {ReCogDrive: A Reinforced Cognitive Framework for End-to-End Autonomous Driving},
  year = {2026},
  pages = {157518--157556},
  url = {https://proceedings.iclr.cc/paper_files/paper/2026/file/ff7bf6014f7826da531aa50f4538ee19-Paper-Conference.pdf}
}

---

결론: ReCogDrive는 대규모 비전-언어 이해와 확산 기반 모션 계획을 융합한 풀스택 연구 플랫폼으로, 여러 자율주행 벤치마크에서 최첨단 성능을 제공하며 결과를 재현하는 데 필요한 모든 데이터, 모델, 스크립트를 제공합니다.