georghess/neurad-studio

neurad-studio – 自動運転向けニューラルレンダリング

何であるか – 自動運転のための最先端ニューラルレンダリングモデルを実装するオープンソースコードベース：

NeuRAD – NeRFベースの手法で、動的なドライブシーンからカメラ画像とLiDAR点群をレンダリング。
SplatAD – 3Dガウススプラッティング（3DGS）手法で、LiDARおよびカメラデータのリアルタイムレンダリングを実現。

このプロジェクトは Nerfstudio フレームワークを基盤とし、自動運転データセット（nuScenes、Waymo、PandaSetなど）に必要なデータパーサー、データマネージャー、ビューア拡張機能を追加しています。ADデータ上でニューラルレンダリングモデルの訓練・評価・拡張をしたい研究者向けに設計されています。

クイックスタート（ワンコマンドフロー）

Conda環境の作成（Python ≥ 3.10）とCUDA-11.8、PyTorch 2.0.1、tiny-cuda-nnのインストール（READMEに記載）。

リポジトリのクローンとインストール：

git clone https://github.com/georghess/neurad-studio.git
cd neurad-studio
pip install -e .

データセットのダウンロード – 例：HuggingFaceリンクからPandaSetをダウンロードし、data/pandasetに展開。
モデルの訓練（NeuRAD例）：
```
python nerfstudio/scripts/train.py neurad pandaset-data
```
neuradをsplatadに置き換えることで3DGSモデルを訓練可能。
進捗の監視 – 組み込みWebビューア（デフォルトポート7007）またはTensorBoard/WandBで確認。
レンダリングまたは可視化 – 付属のrender.pyまたはrun_viewer.pyスクリプトを使用。

主な機能

機能	NeuRAD	SplatAD
コアレンダリング	NeRFベース、高品質なビュー合成	3Dガウススプラッティング、リアルタイム速度
センサー対応	カメラ + LiDAR（強度 + タイムスタンプ）	カメラ + LiDAR（同様）
動的オブジェクト	ローリングシャッター光線生成、エイクター軌道	動的オブジェクト対応3DGS
データセットパーサー	nuScenes、ZOD、Argoverse 2、PandaSet、KITTIMOT、Waymo v2、py123d	同じパーサーを再利用
ビューア拡張	LiDAR点群オーバーレイ、エイクター操作	同じ機能 + より高速レンダリング
プラグインモデル	UniSim（外部リポジトリ経由）	–
訓練ユーティリティ	TensorBoard、Weights & Biases、Comet、組み込みビューア	同様

拡張性

新しいデータセットの追加 – dataparsers/<mydataset>.py を作成し、ADDataParser を継承し、カメラ/LiDAR抽出メソッドを実装。
新しい手法の追加 – Nerfstudioのプラグインガイドに従い、新しいモデルは ns-train <model_name> <data_config> で呼び出せる。
カスタムカーネル – SplatADはローリングシャッターおよびLiDARレンダリングに対応するgsplatのフォークに依存。DockerfileとApptainerレシピを提供し、再現可能な環境を確保。

どのような人にとって有用か？

研究ラボ – 自動運転車における認識、シミュレーション、センサーフュージョンのためのニューラルシーン表現を探索する。
エンジニア – 下流タスク（例：検出、トラッキング）向けに合成カメラ/LiDARデータを生成する微分可能シミュレータが必要な場合。
学生 – NeRF、3DGS、およびそれらが動的・マルチセンサーのドライブシナリオにどのように適応されるかを学びたい人。

引用

コードを使用する場合、READMEにリンクされている2本のCVPR論文を引用してください：

@inproceedings{tonderski2024neurad,
  title={{NeuRAD}: Neural rendering for autonomous driving},
  author={Tonderski, Adam and Lindström, Carl and Hess, Georg and …},
  booktitle={CVPR 2024},
  year={2024}
}

@inproceedings{hess2024splatad,
  title={{SplatAD}: Real-Time Lidar and Camera Rendering with 3D Gaussian Splatting for Autonomous Driving},
  author={Hess, Georg and Lindström, Carl and …},
  booktitle={CVPR 2025},
  year={2025}
}

ライセンスとコミュニティ

本プロジェクトはNerfstudioと同じ許容性のライセンス（MIT）でリリースされています。貢献を歓迎します。READMEにはコア貢献者を記載し、より広範なコミュニティサポートのためのNerfstudio貢献者へのリンクを提供しています。