LeRobot L2D: 세계 최대 오픈소스 자율주행 데이터셋

Hugging Face와 Yaak은 **Learning to Drive (L2D)**를 소개했습니다. 이는 자율주행을 위한 세계 최대 오픈소스 멀티모달 데이터셋입니다. L2D는 30개 독일 도시에 걸쳐 5,000시간 이상의 주행 데이터(90+ TB)를 제공하며, 자연어 지시사항이나 미래 웨이포인트를 따를 수 있는 엔드투엔드 AI 모델을 훈련시키기 위해 특별히 설계되었습니다.

포괄적인 멀티모달 데이터 및 규모

L2D는 규모와 모달리티에서 기존 오픈소스 자율주행 데이터셋을 크게 뛰어넘습니다. WAYMO, NuScenes, COMMA와 같은 이전 데이터셋은 인식 또는 특정 계획 작업에 중점을 둔 반면, L2D는 엔드투엔드 정책 학습을 위해 구축되었으며, 센서 입력을 직접적으로 행동으로 예측합니다.

데이터셋 사양

  • Volume: 90+ 테라바이트의 데이터로, 5,000시간 이상의 주행을 포함합니다.
  • Visuals: 360° coverage를 제공하는 6방향 HD RGB 카메라 6대
  • Vehicle State: 속도, heading, GPS, IMU를 포함한 완전한 상태 데이터
  • Control Actions: 가속, 브레이크, 조향에 대한 연속 데이터 및 기어와 방향 지시등에 대한 이산 데이터
  • Environment Context: 차선 수, 도로 유형(고속도로, 주거 지역), 도로 표면(아스팔트, 자갈, 석재), 및 최고 속도 제한에 대한 메타데이터
  • Environmental Conditions: 강수량, 날씨(눈, 맑음, 비), 및 조명(새벽, 낮, 황혼)에 대한 데이터

전문가 vs. 학생 운전 정책

L2D는 운영 데이터의 전체 스펙트럼을 제공하기 위해 두 가지 유형의 운전 행동을 구분합니다:

  • Expert Policies: 10,000시간 이상의 경험을 가진 운전 강사가 실행합니다. 이들은 주행 실수가 zero인 최적의 정책으로 간주됩니다.
  • Student Policies: 10~50시간 경험을 가진 학습 운전자가 실행합니다. 이들에는 jerking steering과 같은 알려진 비최적성이 포함되어, 모델에 잘못된 행동의 예와 그 이유를 제공합니다.

두 그룹 모두 독일 운전 면허에 필요한 모든 EU-mandated 운전 작업을 포함하며, 원형 교차로 통과, 추월, 철도 횡단 등이 포함됩니다.

기술적 구현 및 큐레이션

데이터 수집 하드웨어

데이터는 동일한 센서 스위트를 갖춘 60대의 KIA E-니로 전기차를 사용하여 수집되었습니다. 포함 사항:

  • Compute: NVIDIA Jetson AGX Xavier 및 Jetson Orin NX (64 GB)
  • Sensors: 6개의 RGB 카메라, Taoglas GNSS 모듈 하나, 및 데이터 전송을 위한 5G 연결
  • Synchronization: 모든 모달리티는 front-left 카메라와 10 Hz 샘플링 레이트로 동기화됩니다.

의미적 인덱싱 및 LLM 기반 검색

1페타바이트 이상의 원시 데이터를 관리하기 위해 Yaak은 의미적 시공간 인덱싱 시스템을 구현했습니다:

  1. Map Matching: GPS 트레이스는 Open-Source Routing Machine (OSRM)을 사용하여 OpenStreetMap (OSM) 그래프와 맵 매칭됩니다.
  2. Route Task Assignment: 경로 특징(예: 다리, 터널), 제한(예: 정지 표지판, 양보), 및 조작(예: 다차선 왼쪽 회전)이 경로에 할당됩니다.
  3. Natural Language Search: llama-3.3-70b로 구동되고 Pydantic 검증을 사용하는 검색 시스템은 사용자가 자연어(예: "원형 교차로까지 주행하고 우선권이 있을 때 우회전" )로 데이터셋을 쿼리하여 특정 에피소드를 검색할 수 있게 합니다.

LeRobot과의 통합

L2D는 LeRobotDataset v2.1 및 v3.0 형식으로 변환되어 ACT, Diffusion Policy, Pi0와 같은 최신 모방 학습 및 강화 학습 모델을 사용할 수 있게 됩니다.

단계별 출시 일정

L2D는 에피소드 품질을 보장하기 위해 단계별로 출시되고 있습니다:

  • R0 to R1: 기본 지침에 중점을 둔 초기 출시
  • R2 to R3: 경로 정보 및 비최적 정책 설명 추가
  • R4 (2025년 11월 계획): 1백만 에피소드 및 5,000시간 이상의 데이터 전체 출시, EU-mandated 운전 작업에 매핑된 task ID 포함

폐쇄 루프 테스트 및 미래 평가

2025년 여름부터, AI 커뮤니티는 안전 운전자와 함께 폐쇄 루프 테스트를 위한 모델을 제출할 수 있습니다. 모델은 차량 내장 상태에서 (Jetson AGX를 통해) 추론 모드로 실행되며, 두 가지 모드로 평가됩니다: drive-by-waypoints (특정 좌표 따르기) 및 drive-by-language (자연어 지시사항 따르기).

Sources