OpenDriveLab/WorldEngine

WorldEngine – 自動駕駛後訓練平台

是什麼 – 一個開源框架，讓你能夠使用預訓練的自動駕駛模型，發現其失敗的稀有、高安全風險情境，將這些瞬間轉化為寫實且完全可控制的模擬環境，並在生成的回放資料上透過強化學習對模型進行微調。目標是彌補現實世界自動駕駛系統所面臨的長尾資料差距。

核心元件

模組	功能	核心技術
SimEngine	閉環模擬，自車與周遭代理實時互動。	3D高斯點雲（MTGS）實現寫實渲染，Hydra 設定管理，Ray 分散式執行
AlgEngine	端對端訓練、評估、稀有情境提取及基於強化學習的後訓練。	MMDetection3D，UniAD / VADv2 後端，HydraMDP 用於強化學習
場景重建（MTGS）	將原始 nuPlan 日誌轉換為多路徑高斯點雲場景，供 SimEngine 渲染。	多路徑高斯點雲（MTGS）

運作方式

1. 在大型駕駛資料集（例如 nuPlan）上執行基礎模型。
2. 自動長尾發現 – 預訓練代理無需人工標註即可標記易失敗的日誌。
3. 使用 MTGS 重建場景，為每個發現的場景生成即時、寫實的模擬環境。
4. 行為世界模型（BWM）（未來整合）可合成這些場景的變體，擴展稀有場景分佈。
5. 強化學習後訓練 – 在生成的回放資料上對模型進行微調，顯著提升稀有場景下的閉環成功率。

README 中強調的成果

• 使用 WorldEngine 進行後訓練，使稀有場景閉環成功率從 ~73%（基線）提升至 88.9%，PDMS* 分數從 60.98% 提升至 70.12%。
• 在量產型 ADAS 平台上進行 200 公里夜間道路測試，系統實現 零脫手。
• 僅使用少量真實日誌，便達到約 10 倍預訓練資料量帶來的效益。

快速上手

1. 克隆倉儲並依照 docs/installation.md 中描述的雙環境 conda 設定進行配置。
2. 執行快速測試指令碼：

   export WORLDENGINE_ROOT=$(pwd)
   bash scripts/closed_loop_test.sh   # 單一 GPU
   # 或
   bash scripts/multigpu_closed_loop_test.sh   # 預設 8 GPU
   

   此指令碼載入預訓練的 VADv2 檢查點，在 SimEngine 中執行 288 次稀有場景回放，並報告 PDMS、成功率與自車進度。
3. 透過模組專用指南深入探索（simengine_usage.md，algengine_usage.md）。

適合誰使用

• 需要系統性提升稀有場景效能的端對端自動駕駛系統研究者。
• 已擁有大量駕駛日誌並希望自動提取最具價值失敗情境的企業。
• 對 AD 領域寫實、分散式閉環模擬感興趣的人（3D 高斯點雲場景可在 RL 流程外重複使用）。

資源

• 資料集 – 在 Hugging Face 與 ModelScope 上發布（WorldEngine 資料集）。
• 論文 – World Engine: Towards the Era of Post-Training for Autonomous Driving (arXiv:2606.19836)。
• 相關程式碼 – MTGS（場景重建）、SimScale（大規模模擬）、UniAD/VADv2（模型後端）。

授權 – 程式碼採用 Apache-2.0；發布資料遵循 nuPlan 的 CC-BY-NC-SA 4.0 授權。

---

所有陳述皆直接摘自倉儲的 README。