Thinklab-SJTU/Bench2DriveZoo
BEVFormer, UniAD, VAD in Closed-Loop CARLA Evaluation with World Model RL Expert Think2Drive
解決的問題
本專案為多個端對端自動駕駛模型(BEVFormer、UniAD 和 VAD)在 Bench2Drive 基準測試框架內提供統一的實作與評估框架。其重點在於使用名為 Think2Drive 的世界模型強化學習教師,將這些模型作為「學生」進行訓練,同時簡化這些架構通常伴隨的複雜相依性管理問題。
工作原理
該倉儲將多個分散的相依項目(如 mmcv、mmseg、mmdet 和 mmdet3d)整合為單一程式庫,以確保與現代 PyTorch 版本及 DeepSpeed 等加速框架的相容性。支援三個主要驗證階段:訓練、開環評估和在 CARLA 模擬器中的閉環評估。模型透過模仿 Think2Drive 教師模型的行為進行訓練,以提升駕駛表現。
適用對象
專為從事端對端自動駕駛研究與開發的研究人員與工程師設計,尤其適合希望將 UniAD 或 VAD 等現有模型與 Bench2Drive 標準進行基準測試,或對車輛控制中的學生-教師學習範式感興趣的使用者。
主要亮點
- 統一相依性:將多個 MMLab 套件合併為一個,降低安裝複雜度並支援 DeepSpeed。
- 師生框架:實作從 Think2Drive 世界模型強化學習教師中學習的模型。
- 全面評估:包含開環與閉環(CARLA)測試的完整程式碼。
- 預訓練模型:提供 UniAD-Tiny、UniAD-Base、VAD 和 BEVFormer 變體的即用型權重。
相關
- 專案
- 專案
- 專案
- 專案
- 專案