Thinklab-SJTU/Bench2Drive

何を解決するか

Bench2Drive は、自律走行（AD）システムのための標準化されたデータセットとクローズドループ評価ベンチマークを提供します。著者らが「意味のある指標ではない」と主張するオープンループ計画から脱却し、動的なシナリオに応じて反応しなければならないクローズドループ環境へと移行することで、より信頼性の高い性能評価の必要性に対応しています。

動作方法

このプロジェクトは CARLA シミュレータを活用してクローズドループテスト環境を構築します。多様な走行シナリオを含む複数のデータセット分割（Mini、Base、Full、および厳密に均一な 0.0.4 バージョン）を提供します。ベンチマークは、一般的なドライブスコア、成功確率、走行効率、走行の滑らかさなど、さまざまなメトリクスに基づいてモデルを評価します。また、追い越し、合流、緊急ブレーキ、譲り合い、交通標識の遵守といったカテゴリにおける「多能力」性能も特にテストしています。

対象ユーザー

自律走行エージェントの研究者および開発者、特にエンドツーエンド走行モデルや自律走行用視覚言語モデル（VLM4AD）を構築している人向けに設計されています。

特徴

• 多様なデータセット分割: 44のシナリオを1,100ルートに厳密に均一に分布させた複数のトレーニングセットを提供。
• クローズドループ評価: 静的なオープンループ予測ではなく、CARLA シミュレータ内でのリアルタイム相互作用に焦点を当てます。
• 包括的なメトリクス: 成功やスコアだけでなく、効率性、快適性／滑らかさ、特定の走行能力も追跡します。
• マルチモーダリティ対応: 3Dオキュパシー（3D occ）および深度データのサポートを含みます。