nv-tlabs/3dgrut

What it solves

이 프로젝트는 기존 3D Gaussian Splatting(3DGS)의 한계, 특히 왜곡된 카메라(롤링 셔터 등)를 처리하지 못하고 반사·굴절·그림자와 같은 복잡한 광학 현상을 렌더링하기 어려운 문제를 해결합니다.

How it works

프로젝트는 세 가지 보완 기술을 구현합니다:

• 3D Gaussian Ray Tracing (3DGRT): splatting 대신 부피 가우시안 입자를 레이 트레이싱합니다. 이를 통해 2차 광선(반사/굴절) 시뮬레이션과 복잡한 카메라 왜곡 지원이 가능하지만 전용 레이 트레이싱 하드웨어가 필요합니다.
• 3D Gaussian Unscented Transform (3DGUT): 래스터화 기반 프레임워크로, 기존 래스터화의 높은 효율성을 유지하면서 왜곡된 카메라를 지원합니다.
• 3DGRUT: 하이브리드 접근법으로, 기본 광선은 래스터화(속도)하고 2차 광선은 레이 트레이싱(시각적 복잡도)합니다.

Who it’s for

신경 재구성 및 3D 씬 렌더링을 연구·개발하는 연구자와 개발자를 위해 설계되었으며, 비이상적인 카메라 효과나 고충실도 광학 시뮬레이션이 필요한 경우에 적합합니다.

Highlights

• Hybrid Rendering: 래스터화와 레이 트레이싱을 결합해 성능과 시각 품질의 균형을 맞춥니다.
• Hardware Acceleration: RT 코어가 있는 NVIDIA GPU에 최적화되었습니다.
• Broad Export Support: 학습된 씬을 USD(ParticleField), Omniverse용 NuRec USDZ 또는 PLY 형식으로 내보낼 수 있습니다.
• Advanced Features: Neural Harmonic Textures(NHT), MCMC 밀도화, 물리적으로 타당한 이미지 신호 처리(PPISP)를 지원합니다.