OpenDriveLab/WorldEngine

WorldEngine – 자율주행을 위한 포스트 트레이닝 플랫폼

무엇인가요 – 사전 학습된 자율주행 모델을 사용하여, 모델이 실패하는 희귀한 안전 핵심 상황을 탐지하고, 이러한 순간들을 사실적이고 완전히 제어 가능한 시뮬레이션으로 전환한 후, 생성된 롤아웃에서 강화학습을 통해 모델을 최적화하는 오픈소스 프레임워크입니다. 목표는 현실 세계 AD 시스템에 문제를 일으키는 '긴 꼬리 데이터 갭'을 메우는 것입니다.

주요 구성 요소

모듈	역할	핵심 기술
SimEngine	에고 차량과 주변 에이전트가 실시간으로 상호작용하는 클로즈드 루프 시뮬레이션.	3D 가우시안 스플래터링(MTGS)을 이용한 사실적 렌더링, Hydra를 통한 설정 관리, Ray를 통한 분산 실행
AlgEngine	엔드투엔드 학습, 평가, 희귀 케이스 추출 및 RL 기반 포스트 트레이닝.	MMDetection3D, UniAD / VADv2 백엔드, HydraMDP를 통한 RL
장면 재구성(MTGS)	원시 nuPlan 로그를 SimEngine이 렌더링할 수 있는 다중 탐색 가우시안 스플래터링 장면으로 변환.	다중 탐색 가우시안 스플래터링(MTGS)

작동 방식

1. 대규모 주행 데이터셋(예: nuPlan)에서 기준 모델을 실행합니다.
2. 자동적인 긴 꼬리 탐지 – 사전 학습된 에이전트가 인간 레이블 없이 실패 위험이 높은 로그를 식별합니다.
3. MTGS를 사용해 장면을 재구성하여, 각 발견된 시나리오용 실시간 사실적 시뮬레이션 환경을 생성합니다.
4. 행동 월드 모델(BWM) (미래 통합)은 이러한 시나리오의 변형을 합성하여 희귀 케이스 분포를 확장할 수 있습니다.
5. RL 포스트 트레이닝 – 생성된 롤아웃에서 모델을 최적화하여 희귀 케이스에서의 클로즈드 루프 성공률을 크게 향상시킵니다.

README에 강조된 결과

• WorldEngine을 통한 포스트 트레이닝으로 희귀 케이스 클로즈드 루프 성공률이 ~73% (기준)에서 **88.9%*로 상승했으며, PDMS 점수는 60.98%에서 **70.12%**로 향상되었습니다.
• 대량 생산된 ADAS 플랫폼에서 200km 야간 도로 테스트에서 시스템은 엔게이지먼트 없이 완전히 성공했습니다.
• 훨씬 적은 실제 로그를 사용하면서도, 사전 학습 데이터량이 약 10배 증가한 것과 유사한 효과를 달성했습니다.

시작하기

1. 리포지토리 복제 후 docs/installation.md에 설명된 두 환경 conda 설정을 따르세요.
2. 빠른 테스트 스크립트 실행:

   export WORLDENGINE_ROOT=$(pwd)
   bash scripts/closed_loop_test.sh   # 단일 GPU
   # 또는
   bash scripts/multigpu_closed_loop_test.sh   # 기본 8 GPU
   

   이 스크립트는 사전 학습된 VADv2 체크포인트를 로드하고 SimEngine에서 288개의 희귀 케이스 롤아웃을 실행하며, PDMS, 성공률, 에고 차량의 진행 상황을 보고합니다.
3. 모듈별 가이드(simengine_usage.md, algengine_usage.md)를 통해 더 깊이 탐구하세요.

누가 사용해야 할까

• 희귀 케이스 성능을 체계적으로 개선하고자 하는 엔드투엔드 자율주행 스택을 개발하는 연구자.
• 대규모 주행 로그를 보유하고 있으며, 가장 가치 있는 실패 시나리오를 자동으로 추출하고자 하는 기업.
• AD를 위한 사실적이고 분산형 클로즈드 루프 시뮬레이션에 관심 있는 누구나 (3D 가우시안 스플래터링 장면은 RL 파이프라인 외부에서도 재사용 가능).

자원

• 데이터셋 – Hugging Face 및 ModelScope에서 공개 (WorldEngine 데이터셋).
• 논문 – World Engine: Towards the Era of Post-Training for Autonomous Driving (arXiv:2606.19836).
• 관련 코드 – MTGS (장면 재구성), SimScale (대규모 시뮬레이션), UniAD/VADv2 (모델 백엔드).

라이선스 – 코드는 Apache-2.0; 공개된 데이터는 nuPlan의 CC-BY-NC-SA 4.0 라이선스에 따릅니다.

---

모든 문장은 리포지토리의 README에서 직접 인용되었습니다.