Thinklab-SJTU/Bench2DriveZoo

BEVFormer, UniAD, VAD in Closed-Loop CARLA Evaluation with World Model RL Expert Think2Drive

解決的問題

本專案為多個端對端自動駕駛模型(BEVFormer、UniAD 和 VAD)在 Bench2Drive 基準測試框架內提供統一的實作與評估框架。其重點在於使用名為 Think2Drive 的世界模型強化學習教師,將這些模型作為「學生」進行訓練,同時簡化這些架構通常伴隨的複雜相依性管理問題。

工作原理

該倉儲將多個分散的相依項目(如 mmcv、mmseg、mmdet 和 mmdet3d)整合為單一程式庫,以確保與現代 PyTorch 版本及 DeepSpeed 等加速框架的相容性。支援三個主要驗證階段:訓練、開環評估和在 CARLA 模擬器中的閉環評估。模型透過模仿 Think2Drive 教師模型的行為進行訓練,以提升駕駛表現。

適用對象

專為從事端對端自動駕駛研究與開發的研究人員與工程師設計,尤其適合希望將 UniAD 或 VAD 等現有模型與 Bench2Drive 標準進行基準測試,或對車輛控制中的學生-教師學習範式感興趣的使用者。

主要亮點

  • 統一相依性:將多個 MMLab 套件合併為一個,降低安裝複雜度並支援 DeepSpeed。
  • 師生框架:實作從 Think2Drive 世界模型強化學習教師中學習的模型。
  • 全面評估:包含開環與閉環(CARLA)測試的完整程式碼。
  • 預訓練模型:提供 UniAD-Tiny、UniAD-Base、VAD 和 BEVFormer 變體的即用型權重。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案