OpenDriveLab/WorldEngine

WorldEngine – 自動運転向けポストトレーニングプラットフォーム

何であるか – 事前学習済みの自動運転モデルを用いて、そのモデルが失敗する稀な安全上の重大な状況を発見し、それらの瞬間を写実的で完全に制御可能なシミュレーションに変換し、生成されたロールアウト上で強化学習でモデルをファインチューニングできるオープンソースフレームワークです。目的は、現実世界のADシステムに課題をもたらす「長尾データギャップ」を埋めることです。

主要モジュール

モジュール	機能	コア技術
SimEngine	エゴ車両と周囲エージェントがリアルタイムで相互作用するクローズドループシミュレーション。	3Dガウシアンスプラッティング（MTGS）による写実的レンダリング、Hydraによる設定管理、Rayによる分散実行
AlgEngine	エンドツーエンドのトレーニング、評価、稀ケースの抽出、およびRLベースのポストトレーニング。	MMDetection3D、UniAD / VADv2バックエンド、HydraMDPによるRL
シーン再構築（MTGS）	ロウnuPlanログをSimEngineがレンダリング可能なマルチトラバーサルガウシアンスプラッティングシーンに変換。	マルチトラバーサルガウシアンスプラッティング（MTGS）

動作方法

1. 大規模なドライブデータセット（例：nuPlan）上でベースモデルを実行します。
2. 自動的な長尾発見 – 事前学習済みエージェントが人間のラベルなしで失敗しやすいログを特定します。
3. MTGSでシーンを再構築し、各発見されたシナリオ用にリアルタイムで写実的なシミュレーション環境を生成します。
4. 行動ワールドモデル（BWM）（将来の統合）は、これらのシナリオのバリエーションを合成し、稀ケースの分布を拡張できます。
5. RLポストトレーニング – 生成されたロールアウト上でモデルをファインチューニングし、稀ケースにおけるクローズドループ成功を大幅に向上させます。

READMEに掲載された主な成果

• WorldEngineによるポストトレーニングにより、稀ケースのクローズドループ成功率は~73%（ベース）から**88.9%に上昇し、PDMS*スコアは60.98%から70.12%**に向上しました。
• 大量生産されたADASプラットフォーム上で200kmの夜間道路テストにおいて、システムはゼロのエンゲージメントを達成しました。
• 実際のログ数をはるかに少なくして、事前学習データ量が約10倍増加した場合と同等の効果を実現しました。

導入方法

1. リポジトリをクローンし、docs/installation.mdに記載の2環境condaセットアップに従ってください。
2. クイックテストスクリプトを実行します：

   export WORLDENGINE_ROOT=$(pwd)
   bash scripts/closed_loop_test.sh   # 単一GPU
   # または
   bash scripts/multigpu_closed_loop_test.sh   # デフォルト8GPU
   

   これは事前学習済みVADv2チェックポイントを読み込み、SimEngineで288件の稀ケースロールアウトを実行し、PDMS、成功確率、エゴの進行状況を報告します。
3. モジュール別ガイド（simengine_usage.md、algengine_usage.md）でさらに深掘りしてください。

誰が使うべきか

• 稀ケース性能を体系的に改善したいエンドツーエンド自動運転スタックを構築している研究者。
• 大量のドライブログを持っているが、最も価値のある失敗シナリオを自動的に抽出したい企業。
• AD向けに写実的で分散型クローズドループシミュレーションに興味がある人（3DガウシアンスプラッティングシーンはRLパイプライン外でも再利用可能）。

リソース

• データセット – Hugging FaceおよびModelScopeで公開（WorldEngineデータセット）。
• 論文 – World Engine: Towards the Era of Post-Training for Autonomous Driving (arXiv:2606.19836)。
• 関連コード – MTGS（シーン再構築）、SimScale（大規模シミュレーション）、UniAD/VADv2（モデルバックエンド）。

ライセンス – コードはApache-2.0；公開データはnuPlanのCC-BY-NC-SA 4.0ライセンスに準拠。

---

すべての記述はリポジトリのREADMEから直接引用されています。