Qwen-Drive-1.0 릴리스 노트 / 새로운 기능

TL;DR

Qwen-Drive-1.0은 사전 학습 과정에서 3D 인식과 시각 질문 응답(VQA)을 통합하고 모션 플래닝으로 확장하는 최초의 자율주행용 비전-언어 파운데이션 모델입니다. 사전 학습된 VLM에 외부 인식 및 계획 모듈을 추가하여 구동하여, 범용 비전-언어 기능을 유지하면서도 주행 특화 작업을 처리할 수 있습니다.

모델 아키텍처

Qwen-Drive-1.0은 기본적으로 멀티모달인 Qwen3.5-4B를 기반으로 구축되었습니다. 이 모델은 원래의 사전 학습된 VLM 아키텍처를 전혀 손상하지 않고 유지하며, 대신 단일 뷰, 다중 뷰 및 시계열 이미지 시퀀스를 처리하는 공유 비전 인코더와 VLM 경로에서 데이터를 읽어오는 두 개의 외부 모듈을 활용합니다.

BEV 인식 헤드

BEV(Bird's-Eye View) 인식 헤드는 명시적이고 검사 가능한 3D 프로브 역할을 합니다. 다중 뷰 단일 프레임 입력으로부터 BEV 표현을 구성하여 세 가지 주요 작업을 공동으로 수행합니다:

• 3D 객체 감지
• 의미론적 점유 예측
• BEV 맵 분할

공동 학습 중에 이 헤드의 손실은 공유 시각 경로에 대한 추가적인 그래디언트 경로를 제공합니다.

플래닝 전문가

플래닝 전문가(Planning Expert)는 VLM 표현을 위해 설계된 디퓨전 트랜스포머입니다. 플로우 매칭을 사용하여 5초간의 자차(ego) 궤적을 생성합니다. 이 모듈은 선택적으로 텍스트 형태의 계획 추론을 조건으로 사용하여 궤적 생성을 안내할 수 있습니다.

학습 방법론

치명적인 망각(Catastrophic forgetting) 없이 범용 VLM을 자율주행에 적응시키기 위해, Qwen-Drive-1.0은 단계적 학습 및 데이터 레시피를 채택합니다. 이 과정에는 다음이 포함됩니다:

• 레이블 통합: 교차 데이터셋 레이블을 통합합니다.
• 응답 재작성: 일관성을 위해 응답을 재작성합니다.
• 샘플 필터링: 데이터 품질을 보장하기 위해 샘플을 필터링합니다.
• 하이브리드 감독: 주행 특화 데이터와 범용 비전-언어 감독을 결합합니다.

성능 및 벤치마크

주행 장면 이해

Qwen-Drive-1.0-SFT는 우수한 주행 장면 이해력을 보여주며, 주행 QA 평균 69.43을 달성하여 범용 VLM과 주행 특화 모델 모두를 능가합니다. 주요 벤치마크 결과는 다음과 같습니다:

• LingoQA: 77.80
• Ego3D (RMSE): 7.78 (낮을수록 좋음)
• WaymoQA (All): 74.47
• SURDS: 66.13

특히, 이 모델은 일반 지식, 추론 및 인식 작업에서도 높은 성능을 유지하여 MMBench에서 85.53점, MMStar에서 75.87점을 기록했습니다.

모션 플래닝

Qwen-Drive-1.0은 통합된 궤적 형식(10Hz에서 5초 예측)을 사용하는 283만 개의 공개 데이터 샘플로 학습되었습니다. 오픈 루프 및 클로즈드 루프 평가에서 경쟁력 있는 결과를 보여줍니다:

• WOD-E2E (RFS val/test): 8.45 / 7.91
• WOD-E2E (ADE 5s val/test): 1.27 / 2.67
• NAVSIM (PDMS): 90.7 (SFT 버전)
• AlpaSim (at-fault score): 0.37

향후 계획

Qwen-Drive-1.0은 주행 시나리오 적응을 위한 통합 기반을 마련했지만, Qwen 팀은 모델의 텍스트 추론과 생성된 궤적 간의 일관성을 강화하는 것을 향후 개발의 주요 초점으로 삼고 있습니다.