georghess/neurad-studio

neurad-studio – 自动驾驶用神经渲染

是什么 – 一个开源代码库，实现了两种用于自动驾驶感知的前沿神经渲染模型：

NeuRAD – 基于 NeRF 的方法，从动态驾驶场景中渲染相机图像和激光雷达点云。
SplatAD – 基于 3D 高斯溅射（3DGS）的方法，实现激光雷达和相机数据的实时渲染。

该项目基于 Nerfstudio 框架，增加了自动驾驶数据集（nuScenes、Waymo、PandaSet 等）所需的解析器、数据管理器和查看器扩展。旨在为希望在 AD 数据上训练、评估或扩展神经渲染模型的研究人员提供支持。

快速入门（单命令流程）

创建 conda 环境（Python ≥ 3.10），并按照 README 中的说明安装 CUDA-11.8、PyTorch 2.0.1 和 tiny-cuda-nn。

克隆并安装 该包：

git clone https://github.com/georghess/neurad-studio.git
cd neurad-studio
pip install -e .

下载数据集 – 例如，从提供的 HuggingFace 链接下载 PandaSet，并解压到 data/pandaset 目录下。
训练模型（NeuRAD 示例）：
```
python nerfstudio/scripts/train.py neurad pandaset-data
```
将 neurad 替换为 splatad 可训练 3DGS 模型。
在内置 Web 查看器中查看进度（默认端口 7007）或通过 TensorBoard/WandB。
使用提供的 render.py 或 run_viewer.py 脚本渲染或可视化训练好的模型。

主要特性

特性	NeuRAD	SplatAD
核心渲染	基于 NeRF，高质量视图合成	3D 高斯溅射，实时速度
传感器支持	相机 + 激光雷达（强度 + 时间戳）	相机 + 激光雷达（相同）
动态物体	滚动快门光线生成，演员轨迹	动态物体感知 3DGS
数据集解析器	nuScenes、ZOD、Argoverse 2、PandaSet、KITTIMOT、Waymo v2、py123d	重用相同解析器
查看器扩展	激光雷达点云叠加，演员操控	相同功能 + 更快渲染
插件模型	UniSim（通过外部仓库）	–
训练工具	TensorBoard、Weights & Biases、Comet、内置查看器	相同

可扩展性

添加新数据集 – 创建 dataparsers/<mydataset>.py，继承 ADDataParser 并实现相机/激光雷达提取方法。
添加新方法 – 遵循 Nerfstudio 的插件指南；新模型可通过 ns-train <model_name> <data_config> 调用。
自定义内核 – SplatAD 依赖于一个处理滚动快门和激光雷达渲染的 gsplat 分支；项目提供 Dockerfile 和 Apptainer 配方，以确保可复现环境。

谁会使用它？

研究实验室 – 探索用于自动驾驶车辆感知、仿真或传感器融合的神经场景表示。
工程师 – 需要一个可微分模拟器来为下游任务（如检测、跟踪）生成合成相机/激光雷达数据。
学生 – 学习 NeRF、3DGS 及其在动态、多传感器驾驶场景中的应用。

引用

如果使用该代码，请引用 README 中链接的两篇 CVPR 论文：

@inproceedings{tonderski2024neurad,
  title={{NeuRAD}: Neural rendering for autonomous driving},
  author={Tonderski, Adam and Lindström, Carl and Hess, Georg and …},
  booktitle={CVPR 2024},
  year={2024}
}

@inproceedings{hess2024splatad,
  title={{SplatAD}: Real-Time Lidar and Camera Rendering with 3D Gaussian Splatting for Autonomous Driving},
  author={Hess, Georg and Lindström, Carl and …},
  booktitle={CVPR 2025},
  year={2025}
}

许可与社区

本项目采用与 Nerfstudio 相同的宽松许可证（MIT）。鼓励贡献；README 列出了核心贡献者，并指向 Nerfstudio 贡献者以获取更广泛的社区支持。