georghess/neurad-studio

neurad-studio – 自動駕駛用神經渲染

是什麼 – 一個開源程式碼庫，實作兩種用於自動駕駛感知的先進神經渲染模型：

NeuRAD – 基於 NeRF 的方法，從動態駕駛場景中渲染相機影像與雷達點雲。
SplatAD – 基於 3D 高斯潑濺（3DGS）的方法，實現雷達與相機資料的即時渲染。

本專案基於 Nerfstudio 框架，新增自動駕駛資料集（nuScenes、Waymo、PandaSet 等）所需的解析器、資料管理器與檢視器擴充功能。專為希望在 AD 資料上訓練、評估或擴展神經渲染模型的研究人員設計。

快速入門（單一指令流程）

建立 conda 環境（Python ≥ 3.10），並依照 README 說明安裝 CUDA-11.8、PyTorch 2.0.1 與 tiny-cuda-nn。

克隆並安裝 該套件：

git clone https://github.com/georghess/neurad-studio.git
cd neurad-studio
pip install -e .

下載資料集 – 例如，從提供的 HuggingFace 連結下載 PandaSet，並解壓至 data/pandaset 目錄。
訓練模型（NeuRAD 範例）：
```
python nerfstudio/scripts/train.py neurad pandaset-data
```
將 neurad 改為 splatad 可訓練 3DGS 模型。
在內建 Web 檢視器中觀看進度（預設埠 7007）或透過 TensorBoard/WandB。
使用提供的 render.py 或 run_viewer.py 指令碼渲染或可視化訓練完成的模型。

主要功能

功能	NeuRAD	SplatAD
核心渲染	基於 NeRF，高品質視角合成	3D 高斯潑濺，即時速度
感測器支援	相機 + 雷達（強度 + 時間戳）	相機 + 雷達（相同）
動態物件	滾動快門射線生成，角色軌跡	動態物件感知 3DGS
資料集解析器	nuScenes、ZOD、Argoverse 2、PandaSet、KITTIMOT、Waymo v2、py123d	重用相同解析器
檢視器擴充	雷達點雲疊加，角色操控	相同功能 + 更快渲染
插件模型	UniSim（透過外部倉儲）	–
訓練工具	TensorBoard、Weights & Biases、Comet、內建檢視器	相同

可擴充性

新增資料集 – 建立 dataparsers/<mydataset>.py，繼承 ADDataParser 並實作相機/雷達提取方法。
新增方法 – 遵循 Nerfstudio 的外掛指南；新模型可透過 ns-train <model_name> <data_config> 呼叫。
自訂核心 – SplatAD 依賴一個處理滾動快門與雷達渲染的 gsplat 分支；專案提供 Dockerfile 與 Apptainer 設定檔，以確保可重現環境。

誰會使用它？

研究實驗室 – 探索用於自動駕駛車輛感知、模擬或感測器融合的神經場景表示。
工程師 – 需要一個可微分模擬器，為下游任務（如偵測、追蹤）生成合成相機/雷達資料。
學生 – 學習 NeRF、3DGS 及其在動態、多感測器駕駛情境中的應用。

引用

若使用此程式碼，請引用 README 中連結的兩篇 CVPR 論文：

@inproceedings{tonderski2024neurad,
  title={{NeuRAD}: Neural rendering for autonomous driving},
  author={Tonderski, Adam and Lindström, Carl and Hess, Georg and …},
  booktitle={CVPR 2024},
  year={2024}
}

@inproceedings{hess2024splatad,
  title={{SplatAD}: Real-Time Lidar and Camera Rendering with 3D Gaussian Splatting for Autonomous Driving},
  author={Hess, Georg and Lindström, Carl and …},
  booktitle={CVPR 2025},
  year={2025}
}

授權與社群

本專案採用與 Nerfstudio 相同的寬鬆授權（MIT）。鼓勵貢獻；README 列出核心貢獻者，並指向 Nerfstudio 貢獻者以取得更廣泛的社群支援。