kesai-labs/py123d

py123d – 统一的多模态自动驾驶数据集库

是什么 – py123d 是一个 Python 包，可通过单一一致的 API 使用多个主要自动驾驶数据集（Argoverse 2、nuScenes、Waymo、nuPlan、KITTI‑360、PandaSet 等）。它下载原始数据，将其转换为列式 Apache Arrow 格式，然后提供对摄像头、激光雷达、地图和标注的零拷贝、内存映射访问。

为何重要 – 自动驾驶研究常常需要处理不同的文件布局、传感器编码和标签模式。py123d 消除了这些障碍，使您能够：

• 通过 CLI 直接从官方源获取数据。
• 将所有内容存储在紧凑的 Arrow 文件中，无需将整个数据集加载到 RAM 即可立即读取。
• 在不更改训练或评估代码的情况下在不同数据集之间切换。
• 使用内置的 Viser 3‑D 查看器或简单的 Matplotlib 图表快速可视化场景。

主要特性

特性	详情
数据集下载与转换	一行 CLI（py123d-conversion …）即可获取原始日志，转换为 Arrow 格式，并清理原始文件。
基于 Hydra 的管道	YAML 配置可描述复杂的转换步骤，并在不同项目间复用。
零拷贝 Arrow 存储	列式、内存映射读取，实现对数十亿点或帧的快速、低内存访问。
多种传感器编码	支持摄像头的 MP4/JPEG/PNG 和激光雷达点云的 LAZ/Draco/Arrow IPC。
无传感器重复	转换后的日志保留对原始文件的引用，避免重复存储。
统一 API	任何支持的数据集均使用相同的 Python 调用（scene.cameras()、scene.lidar()、scene.map()、scene.labels()）。
内置可视化	交互式 3‑D 查看器（Viser）和 Matplotlib 辅助工具，便于快速检查。
可扩展模态	最新版本增加了深度相机、雷达、像素级分割、路线信息和姿态不确定性字段。
多数据集训练支持	配套仓库 py123d_garage 提供训练循环、NAVSIM 指标和与 CARLA/AlpaSim 的仿真桥接。

安装

# 核心库
pip install py123d

# 特定数据集的可选依赖（仅安装所需部分）
# 例如：Argoverse 2 支持
pip install py123d[av2]

该包遵循标准 Python 版本管理，并托管在 PyPI 上。

快速演示（Argoverse 2）

# 1️⃣ 安装 AV2 可选依赖
pip install py123d[av2]

# 2️⃣ 指定转换后数据的存储位置
export PY123D_DATA_ROOT=/my/py123d_data

# 3️⃣ 下载 3 个验证日志并转换为 Arrow 格式
py123d-conversion dataset=av2-sensor-stream \
  dataset.parser.splits='[av2-sensor_val]' \
  dataset.parser.downloader.num_logs=3

# 4️⃣ 启动交互式查看器
py123d-viser scene_filter=av2-sensor

在浏览器中打开 http://localhost:8080 以探索场景。

支持的数据集 – 该库目前处理广泛的标注数据集，包括：

• 人工标注：nuScenes、Waymo Open Perception、Argoverse 2 Sensor、PandaSet、KITTI‑360
• 自动标注：Waymo Open Motion、nuPlan（及 mini）、NVIDIA Physical AI AV、NCore
• 合成数据：CARLA、L3AD（基于 CARLA） 每个条目列出可用传感器（摄像头、激光雷达、雷达）和标注类型（3‑D 框、交通灯、地图、分割等）。

文档与社区 – 完整的 API 参考、转换指南和贡献说明可在 https://kesai.eu/py123d/ 获取。该项目采用 Apache‑2.0 许可证开源，欢迎为新数据集或模态添加扩展。

---

引用 如果在研究中使用 py123d，请引用配套论文：

@article{Dauner2026ARXIV,
  title={123D: Unifying Multi-Modal Autonomous Driving Data at Scale},
  author={Dauner, Daniel and Charraut, Valentin and Berle, Bastian and Li, Tianyu and Nguyen, Long and Wang, Jiabao and Jing, Changhui and Igl, Maximilian and Caesar, Holger and Ivanovic, Boris and Geiger, Andreas and Chitta, Kashyap},
  journal={arXiv preprint arXiv:2605.08084},
  year={2026}
}