Thinklab-SJTU/Bench2DriveZoo

何を解決するか

このプロジェクトは、Bench2Driveベンチマーク内における複数のエンドツーエンド自動運転モデル（BEVFormer、UniAD、VAD）の統合実装と評価フレームワークを提供します。特に、Think2Driveと呼ばれる世界モデルRL教師を使用してこれらのモデルを「生徒」として訓練する点に焦点を当てており、通常これらのアーキテクチャと関連する複雑な依存関係の管理を簡素化しています。

仕組み

このリポジトリは、mmcv、mmseg、mmdet、mmdet3dなどの複数の断片化された依存関係を1つのライブラリに統合し、最新のPyTorchバージョンおよびDeepSpeedなどの高速化フレームワークとの互換性を確保しています。3つの主要な検証ステージをサポートしています：訓練、オープンループ評価、およびCARLAシミュレータ内のクローズドループ評価。モデルはThink2Drive教師モデルの挙動を模倣するように訓練され、運転性能を向上させます。

対象ユーザー

エンドツーエンド自動運転の研究者およびエンジニア向けです。特に、UniADやVADなどの既存モデルをBench2Driveの基準でベンチマークしたい人、または車両制御における生徒-教師学習パラダイムに興味がある人向けです。

特徴

• 統合された依存関係: 複数のMMLabライブラリを1つに統合し、インストールの負担を軽減し、DeepSpeedをサポートします。
• 生徒-教師フレームワーク: Think2Drive世界モデルRL教師から学習するモデルを実装しています。
• 包括的な評価: オープンループおよびクローズドループ（CARLA）テストのためのコードを含みます。
• 事前学習済みモデル: UniAD-Tiny、UniAD-Base、VAD、BEVFormerのバリエーション用の即時利用可能な重みを提供します。