xiaomi-research/recogdrive

해결하는 문제

ReCogDrive는 엔드투엔드 자율주행의 "롱테일" 문제를 해결합니다. 고수준 인지 추론(일반적으로 시각 언어 모델이 처리)과 주행 동작의 물리적 실행 간의 불일치를 해결합니다. 이들은 단순한 언어 작업으로 취급될 때 종종 형식 오류, 실행 불가능한 궤적 및 느린 추론 문제를 겪습니다.

작동 방식

ReCogDrive는 자기회귀 시각 언어 모델(VLM)과 확산 플래너를 통합하여 이해와 계획을 통합합니다. 다음의 3단계 프로세스를 따릅니다:

1. 인지 기반: 계층적 데이터 파이프라인(생성, 정제 및 품질 관리)이 인간과 유사한 주행 인지를 VLM에 주입합니다.
2. 동작 생성: VLM이 학습한 주행 사전 지식이 확산 플래너에 주입되어 연속적이고 안정적이며 물리적으로 실행 가능한 궤적을 생성합니다.
3. 안전 강화: Diffusion Group Relative Policy Optimization(DiffGRPO) 단계가 플래너를 강화하여 안전성과 편안함을 개선하고 충돌을 줄입니다.

대상 독자

엔드투엔드 자율주행, Vision-Language-Action(VLA) 모델 및 로봇 공학의 궤적 계획을 연구하는 연구원 및 엔지니어.

하이라이트

• 하이브리드 아키텍처: VLM의 추론 능력과 확산 플래너의 정밀함을 결합합니다.
• 광범위한 사전 학습: 12개의 오픈 소스 주행 데이터셋과 NavSim을 위한 맞춤형 자동 주석 파이프라인으로 사전 학습되었습니다.
• SOTA 성능: NAVSIM 및 Bench2Drive 벤치마크에서 최고 수준의 결과를 달성합니다.
• 강화된 안전성: DiffGRPO를 사용하여 더 안전하고 편안한 주행 동작을 특별히 최적화합니다.