LeRobot L2D: 世界最大のオープンソース自動運転データセット

Hugging FaceとYaakは、世界最大のオープンソース・マルチモーダル自動運転データセットである**Learning to Drive (L2D)**を発表しました。L2Dは、ドイツの30都市にわたる5,000時間以上（90TB以上）の走行データを提供し、自然言語の指示や将来のウェイポイントに従うことができるエンドツーエンドのAIモデルを訓練するために特別に設計されています。

包括的なマルチモーダルデータとスケール

L2Dは、規模とモダリティの両面において、既存のオープンソース自動運転データセットを大幅に上回っています。WAYMO、NuScenes、COMMAのような従来のデータセットが知覚や特定のプランニングタスクに焦点を当てていたのに対し、L2Dはセンサー入力から直接アクションを予測するエンドツーエンドのポリシー学習のために構築されています。

データセット仕様

  • ボリューム: 5,000時間以上の走行を含む90TB以上のデータ。
  • ビジュアル: 360°をカバーする6台の周囲HD RGBカメラ。
  • 車両状態: 速度、方位、GPS、IMUを含む完全な状態データ。
  • 制御アクション: アクセル、ブレーキ、ステアリングの連続データ、およびギアとウィンカーの離散データ。
  • 環境コンテキスト: 車線数、道路種別（高速道路、住宅街）、路面状況（アスファルト、石畳、セトル）、および最高速度制限に関するメタデータ。
  • 環境条件: 降水量、天候（雪、晴れ、雨）、および照明条件（夜明け、日中、夕暮れ）に関するデータ。

エキスパート vs. スチューデント走行ポリシー

L2Dは、運用データの全スペクトルを提供するために、2種類の走行行動を区別しています：

  • エキスパート・ポリシー (Expert Policies): 10,000時間以上の経験を持つ教習指導員によって実行されます。これらは走行ミスがゼロの最適解と見なされます。
  • スチューデント・ポリシー (Student Policies): 10〜50時間の経験を持つ学習ドライバーによって実行されます。これらには、モデルに誤った行動とその理由の例を提供するために、急なステアリング操作などの既知の非最適性が含まれています。

両方のグループは、ラウンドアバウトの走行、追い越し、線路の横断など、ドイツの運転免許取得に必要なEU規定のすべての走行タスクをカバーしています。

技術的実装とキュレーション

データ収集ハードウェア

データは、以下の同一のセンサーセットを装備した60台のKIA E-niro電気自動車を使用して収集されました：

  • コンピューティング: NVIDIA Jetson AGX XavierおよびJetson Orin NX (64 GB)。
  • センサー: 6台のRGBカメラ、Taoglas GNSSモジュール、およびデータ送信用の5G接続。
  • 同期: すべてのモダリティは、サンプリングレート10 Hzでフロント左カメラと同期しています。

セマンティック・インデックス作成とLLMによる検索

1ペタバイトを超える生データを管理するために、Yaakはセマンティックな時空間インデックス作成システムを実装しました：

  1. マップマッチング: GPSの軌跡は、Open-Source Routing Machine (OSRM) を使用して OpenStreetMap (OSM) グラフにマップマッチングされます。
  2. ルートタスク割り当て: ルートの特徴（例：橋、トンネル）、制限事項（例：一時停止、譲り合い）、および操縦（例：多車線左折）が軌跡に割り当てられます。
  3. 自然言語検索: llama-3.3-70b と Pydantic バリデーションによって駆動される検索システムにより、ユーザーは自然言語（例：「ラウンドアバウトまで走行し、優先権があるときに右折する」）を使用してデータセットを照会し、特定のエピソードを取得できます。

LeRobotとの統合

L2Dは LeRobotDataset v2.1 および v3.0 形式に変換されており、ACT、Diffusion Policy、Pi0 などの最先端の模倣学習および強化学習モデルの使用が可能です。

段階的リリーススケジュール

L2Dは、エピソードの品質を確保するために段階的にリリースされます：

  • R0からR1: 基本的な指示に焦点を当てた初期リリース。
  • R2からR3: ルート情報と非最適ポリシーの説明の追加。
  • R4 (2025年11月予定): 100万エピソードと5,000時間以上のデータを含むフルリリース。これには、EU規定の走行タスクにマッピングされたタスクIDが含まれます。

クローズドループ・テストと将来の評価

2025年夏から、AIコミュニティはセーフティドライバーを同乗させたクローズドループ・テストにモデルを提出できるようになります。モデルは車両上（Jetson AGX経由）の推論モードで実行され、ウェイポイントによる走行（特定の座標に従う）と言語による走行（自然言語の指示に従う）の2つのモードで評価されます。

Sources