georghess/neurad-studio

neurad-studio – 자율주행을 위한 신경 렌더링

무엇인가요 – 자율주행 인식을 위한 최첨단 신경 렌더링 모델을 구현하는 오픈소스 코드베이스입니다:

NeuRAD – 동적 주행 장면에서 카메라 이미지와 LiDAR 포인트 클라우드를 렌더링하는 NeRF 기반 방법입니다.
SplatAD – 3D 가우시안 스플래팅(3DGS) 기반으로 LiDAR 및 카메라 데이터를 실시간으로 렌더링하는 방법입니다.

이 프로젝트는 Nerfstudio 프레임워크를 기반으로 하며, 자율주행 데이터셋( nuScenes, Waymo, PandaSet 등)에 필요한 데이터 파서, 데이터 매니저, 뷰어 확장 기능을 추가했습니다. AD 데이터에서 신경 렌더링 모델을 훈련, 평가, 확장하고자 하는 연구자들을 위한 것입니다.

빠른 시작 (단일 명령어 흐름)

conda 환경 생성 (Python ≥ 3.10) 및 CUDA-11.8, PyTorch 2.0.1, tiny-cuda-nn 설치 (README에 설명됨).

리포지토리 클론 및 설치:

git clone https://github.com/georghess/neurad-studio.git
cd neurad-studio
pip install -e .

데이터셋 다운로드 – 예: 제공된 HuggingFace 링크에서 PandaSet을 다운로드하고 data/pandaset 폴더에 압축 해제.
모델 훈련 (NeuRAD 예시):
```
python nerfstudio/scripts/train.py neurad pandaset-data
```
neurad를 splatad로 바꾸면 3DGS 모델을 훈련할 수 있습니다.
진행 상황 확인 – 내장 웹 뷰어(기본 포트 7007) 또는 TensorBoard/WandB를 통해 확인.
훈련된 모델 렌더링 또는 시각화 – 제공된 render.py 또는 run_viewer.py 스크립트 사용.

주요 기능

기능	NeuRAD	SplatAD
핵심 렌더링	NeRF 기반, 고품질 뷰 합성	3D 가우시안 스플래팅, 실시간 속도
센서 지원	카메라 + LiDAR (강도 + 타임스탬프)	카메라 + LiDAR (동일)
동적 객체	롤링셔터 레이 생성, 엑터 트래잭토리	동적 객체 인식 3DGS
데이터셋 파서	nuScenes, ZOD, Argoverse 2, PandaSet, KITTIMOT, Waymo v2, py123d	동일한 파서 재사용
뷰어 확장	LiDAR 포인트 클라우드 오버레이, 엑터 조작	동일 + 더 빠른 렌더링
플러그인 모델	UniSim (외부 리포지토리)	–
훈련 유틸리티	TensorBoard, Weights & Biases, Comet, 내장 뷰어	동일

확장성

새로운 데이터셋 추가 – dataparsers/<mydataset>.py를 생성하고 ADDataParser를 상속하여 카메라/LiDAR 추출 메서드를 구현.
새로운 방법 추가 – Nerfstudio의 플러그인 가이드를 따르며, 새로운 모델은 ns-train <model_name> <data_config>로 호출 가능.
사용자 정의 커널 – SplatAD는 롤링셔터 및 LiDAR 렌더링을 처리하는 gsplat의 파생 버전에 의존합니다. 재현 가능한 환경을 위해 Dockerfile과 Apptainer 레시피를 제공합니다.

누가 사용할 수 있나요?

연구소 – 자율주행 차량의 인식, 시뮬레이션, 센서 융합을 위한 신경 장면 표현을 탐구하는 연구자.
엔지니어 – 하류 작업(예: 탐지, 추적)을 위한 합성 카메라/LiDAR 데이터를 생성할 수 있는 미분 가능 시뮬레이터가 필요한 경우.
학생 – NeRF, 3DGS 및 그들이 동적, 다중 센서 주행 시나리오에 어떻게 적용되는지 배우고 싶은 사람.

인용

코드를 사용할 경우, README에 링크된 두 페퍼를 인용해 주세요:

@inproceedings{tonderski2024neurad,
  title={{NeuRAD}: Neural rendering for autonomous driving},
  author={Tonderski, Adam and Lindström, Carl and Hess, Georg and …},
  booktitle={CVPR 2024},
  year={2024}
}

@inproceedings{hess2024splatad,
  title={{SplatAD}: Real-Time Lidar and Camera Rendering with 3D Gaussian Splatting for Autonomous Driving},
  author={Hess, Georg and Lindström, Carl and …},
  booktitle={CVPR 2025},
  year={2025}
}

라이선스 및 커뮤니티

프로젝트는 Nerfstudio와 동일한 허용성 라이선스(MIT)로 배포됩니다. 기여를 환영합니다. README에는 핵심 기여자 목록과 더 넓은 커뮤니티 지원을 위한 Nerfstudio 기여자 링크가 포함되어 있습니다.