Thinklab-SJTU/Bench2DriveZoo

해결하는 문제

이 프로젝트는 Bench2Drive 벤치마크 내에서 여러 종류의 엔드투엔드 자율주행 모델(BEVFormer, UniAD, VAD)에 대한 통합 구현 및 평가 프레임워크를 제공합니다. 특히 Think2Drive라는 세계 모델 RL 교사 모델을 사용하여 이러한 모델들을 '학생'으로 훈련하는 데 초점을 맞추며, 일반적으로 이러한 아키텍처와 관련된 복잡한 종속성 관리 문제를 간소화합니다.

작동 방식

이 리포지토리는 mmcv, mmseg, mmdet, mmdet3d와 같은 여러 분산된 종속성을 하나의 라이브러리로 통합하여 최신 PyTorch 버전 및 DeepSpeed 같은 가속 프레임워크와의 호환성을 보장합니다. 훈련, 오픈루프 평가, CARLA 시뮬레이터 내 클로즈드루프 평가의 세 가지 주요 검증 단계를 지원합니다. 모델은 Think2Drive 교사 모델의 행동을 모방하도록 훈련되어 주행 성능을 향상시킵니다.

대상 사용자

엔드투엔드 자율주행 분야에서 연구하거나 개발하는 연구자 및 엔지니어를 위한 것입니다. 특히 UniAD나 VAD와 같은 기존 모델을 Bench2Drive 기준으로 벤치마크하고 싶거나, 차량 제어를 위한 학생-교사 학습 파라다임에 관심 있는 분들에게 적합합니다.

주요 특징

• 통합된 종속성: 여러 MMLab 라이브러리를 하나로 통합하여 설치의 부담을 줄이고 DeepSpeed를 지원합니다.
• 학생-교사 프레임워크: Think2Drive 세계 모델 RL 교사로부터 학습하는 모델을 구현합니다.
• 포괄적인 평가: 오픈루프 및 클로즈드루프(CARLA) 테스트를 위한 코드를 포함합니다.
• 사전 학습된 모델: UniAD-Tiny, UniAD-Base, VAD, BEVFormer 변형용으로 즉시 사용 가능한 가중치를 제공합니다.