OpenDriveLab/WorldEngine

WorldEngine – 自动驾驶后训练平台

是什么 – 一个开源框架，允许你使用预训练的自动驾驶模型，发现其失败的罕见、高安全风险场景，将这些时刻转化为写实、完全可控的仿真环境，并在生成的回放数据上通过强化学习对模型进行微调。目标是弥合现实世界自动驾驶系统所面临的长尾数据差距。

核心组件

模块	作用	核心技术
SimEngine	闭环仿真，自车与周围智能体实时交互。	3D高斯点云（MTGS）实现写实渲染，Hydra配置管理，Ray分布式执行
AlgEngine	端到端训练、评估、罕见场景提取及基于强化学习的后训练。	MMDetection3D，UniAD / VADv2后端，HydraMDP用于强化学习
场景重建（MTGS）	将原始nuPlan日志转换为多路径高斯点云场景，供SimEngine渲染。	多路径高斯点云（MTGS）

工作流程

1. 在大规模驾驶数据集（如nuPlan）上运行基础模型。
2. 自动长尾发现 – 预训练智能体无需人工标注即可标记出易失败的日志。
3. 使用MTGS重建场景，为每个发现的场景生成实时、写实的仿真环境。
4. 行为世界模型（BWM）（未来集成）可合成这些场景的变体，扩展罕见场景分布。
5. 强化学习后训练 – 在生成的回放数据上对模型进行微调，显著提升罕见场景下的闭环成功率。

README中突出的成果

• 使用WorldEngine进行后训练，使罕见场景闭环成功率从~73%（基线）提升至88.9%，PDMS*得分从60.98%提升至70.12%。
• 在量产ADAS平台上进行200公里夜间道路测试，系统实现零脱手。
• 仅使用少量真实日志，便达到约10倍预训练数据量带来的收益。

快速上手

1. 克隆仓库并按照docs/installation.md中描述的双环境conda设置进行配置。
2. 运行快速测试脚本：

   export WORLDENGINE_ROOT=$(pwd)
   bash scripts/closed_loop_test.sh   # 单GPU
   # 或
   bash scripts/multigpu_closed_loop_test.sh   # 默认8GPU
   

   该脚本加载预训练的VADv2检查点，在SimEngine中运行288次罕见场景回放，并报告PDMS、成功率和自车进展。
3. 通过模块专用指南深入探索（simengine_usage.md，algengine_usage.md）。

适合谁使用

• 需要系统性提升罕见场景性能的端到端自动驾驶系统研究者。
• 已拥有大量驾驶日志并希望自动提取最有价值失败场景的企业。
• 对AD领域写实、分布式闭环仿真感兴趣的人（3D高斯点云场景可在RL流程外复用）。

资源

• 数据集 – 在Hugging Face和ModelScope上发布（WorldEngine数据集）。
• 论文 – World Engine: Towards the Era of Post-Training for Autonomous Driving (arXiv:2606.19836)。
• 相关代码 – MTGS（场景重建）、SimScale（大规模仿真）、UniAD/VADv2（模型后端）。

许可 – 代码采用Apache-2.0；发布数据遵循nuPlan的CC-BY-NC-SA 4.0许可。

---

所有陈述均直接摘自仓库的README。