OpenDriveLab/WorldEngine

해결하는 문제

WorldEngine은 자율 주행의 '롱테일' 문제를 해결합니다. 이는 충돌 위험과 같은 희귀하고 안전상 중요한 시나리오가 표준 학습 데이터에는 너무 부족하여 차량이 안전하게 대응하는 방법을 가르치기 어렵다는 문제입니다. 이러한 실패 사례를 자동으로 식별하고 연습을 위한 고충실도 시뮬레이션 환경을 생성함으로써, 모델이 복잡하고 실제적인 엣지 케이스를 처리하는 방법을 학습하도록 돕습니다.

작동 원리

WorldEngine은 두 가지 시스템을 사용합니다:

1. SimEngine: 실제 주행 로그를 가져와 3D Gaussian Splatting을 사용하여 사실적이고 상호 작용이 가능한 3D 시뮬레이션으로 재구성합니다. 이를 통해 자율 주행 모델은 이러한 시나리오를 반복적으로 '주행'할 수 있습니다.
2. AlgEngine: 모델 자체를 사용하여 시뮬레이션에서 실패하는 지점을 식별합니다. 그런 다음 강화 학습(RL)을 사용하여 이러한 특정하고 까다로운 시나리오에 대해 모델을 미세 조정함으로써, 방대한 양의 새롭고 값비싼 실제 데이터 없이도 희귀한 이벤트를 처리하는 방법을 효과적으로 가르칩니다.

대상 사용자

이 프레임워크는 엔드투엔드 자율 주행 모델을 연구하는 연구원 및 엔지니어를 위해 설계되었으며, 희귀하고 복잡한 교통 상황에서 안전성과 성능을 향상시키기 위한 강력하고 데이터 중심적인 방법이 필요한 분들에게 적합합니다.

주요 특징

• 자동 실패 발견: 시스템은 수동 개입 없이 기존 주행 로그에서 실패하기 쉬운 시나리오를 자동으로 표시합니다.
• 사실적인 시뮬레이션: 3D Gaussian Splatting을 사용하여 실제 데이터로부터 완전히 제어 가능한 고품질 가상 환경을 생성합니다.
• 행동 기반 생성: 다양한 교통 변형을 합성하여 드물고 위험한 이벤트를 풍부한 학습 분포로 전환합니다.
• 입증된 안전성 향상: 시뮬레이션 충돌률을 최대 45.5%까지 줄였으며, 200km의 도로 주행 테스트 동안 디스엔게이지먼트(운전자 개입) 0회를 기록했습니다.
• 효율적인 학습: 단순히 사전 학습 데이터를 늘리는 것보다 우수한 성능을 보이며, 타겟팅된 사후 학습을 통해 10배 더 큰 데이터셋과 동일한 성능 이점을 제공합니다.