Thinklab-SJTU/Bench2Drive

해결하는 문제

Bench2Drive는 자율주행(AD) 시스템을 위한 표준화된 데이터셋과 클로즈드루프 평가 벤치마크를 제공합니다. 저자들이 의미 있는 지표가 아니라고 주장하는 오픈루프 계획에서 벗어나, 동적 상황에 대응해야 하는 클로즈드루프 환경으로 전환함으로써, 더 신뢰할 수 있는 성능 평가의 필요성을 해결합니다.

작동 방식

이 프로젝트는 CARLA 시뮬레이터를 활용하여 클로즈드루프 테스트 환경을 구축합니다. 다양한 주행 시나리오를 포함하는 여러 데이터셋 분할(Mini, Base, Full, 그리고 엄격하게 균일한 0.0.4 버전)을 제공합니다. 벤치마크는 일반적인 드라이빙 스코어, 성공률, 주행 효율성, 주행 부드러움 등 다양한 메트릭을 기반으로 모델을 평가합니다. 또한, 추월, 합류, 긴급 제동, 양보, 교통 표지 준수와 같은 카테고리에서의 "다능력" 성능도 특별히 테스트합니다.

대상 사용자

에이전트를 개발하는 연구자 및 개발자, 특히 엔드투엔드 주행 모델이나 자율주행용 시각-언어 모델(VLM4AD)을 구축하는 사람들에게 적합합니다.

주요 특징

• 다양한 데이터셋 분할: 44개의 시나리오를 1,100개의 루트에 엄격하게 균일하게 분포시킨 여러 학습 세트 제공.
• 클로즈드루프 평가: 정적인 오픈루프 예측이 아닌, CARLA 시뮬레이터 내에서의 실시간 상호작용에 초점을 맞춥니다.
• 포괄적인 메트릭: 성공률과 스코어뿐 아니라 효율성, 편안함/부드러움, 특정 주행 능력도 추적합니다.
• 다중 모달리티 지원: 3D 오쿠파시(3D occ) 및 깊이 데이터 지원 포함.