Thinklab-SJTU/Bench2DriveZoo

BEVFormer, UniAD, VAD in Closed-Loop CARLA Evaluation with World Model RL Expert Think2Drive

解决的问题

本项目为多个端到端自动驾驶模型(BEVFormer、UniAD 和 VAD)在 Bench2Drive 基准测试框架内提供统一的实现与评估框架。其重点在于使用名为 Think2Drive 的世界模型强化学习教师,将这些模型作为“学生”进行训练,同时简化了这些架构通常伴随的复杂依赖管理问题。

工作原理

该仓库将多个分散的依赖项(如 mmcv、mmseg、mmdet 和 mmdet3d)整合为单一库,以确保与现代 PyTorch 版本及 DeepSpeed 等加速框架的兼容性。支持三个主要验证阶段:训练、开环评估和在 CARLA 模拟器中的闭环评估。模型通过模仿 Think2Drive 教师模型的行为进行训练,以提升驾驶性能。

适用人群

专为从事端到端自动驾驶研究与开发的研究人员和工程师设计,尤其适合希望将 UniAD 或 VAD 等现有模型与 Bench2Drive 标准进行基准测试,或对车辆控制中的学生-教师学习范式感兴趣的用户。

主要亮点

  • 统一依赖项:将多个 MMLab 库合并为一个,降低安装复杂度并支持 DeepSpeed。
  • 师生框架:实现从 Think2Drive 世界模型强化学习教师中学习的模型。
  • 全面评估:包含开环与闭环(CARLA)测试的完整代码。
  • 预训练模型:提供 UniAD-Tiny、UniAD-Base、VAD 和 BEVFormer 变体的即用型权重。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目