3dgrut: ray-traced reflections 및 distorted camera effects를 지원하는 hybrid Gaussian Splatting framework

What it solves

3DGRUT은 반사, 굴절, 그림자와 같은 복잡한 광학 현상의 렌더링을 가능하게 하고, rolling shutters와 같은 시간 의존적 효과를 가진 distorted camera를 지원함으로써 기존 Gaussian Splatting (3DGS)의 한계를 해결합니다. 이는 ray tracing의 높은 시각적 충실도와 유연성을 rasterization의 속도와 균형 있게 결합하는 방법을 제공합니다.

How it works

이 프로젝트는 서로 다르지만 연관된 세 가지 렌더링 방식을 구현합니다:

• 3D Gaussian Ray Tracing (3DGRT): splatting 대신 이 방식은 volumetric Gaussian particles의 ray tracing을 수행합니다. 이를 통해 secondary rays (reflections/refractions) 및 복잡한 camera distortions를 가능하게 하지만, 전용 ray-tracing hardware가 필요하며 rasterization보다 느립니다.
• 3D Gaussian Unscented Transform (3DGUT): 이 방식은 높은 효율성을 유지하면서 distorted camera 및 시간 의존적 효과에 대한 지원을 rasterization framework에 도입합니다.
• 3DGRUT (Hybrid): primary rays를 rasterization을 통해 렌더링하고 (속도를 위해), secondary rays를 ray tracing을 통해 렌더링하여 (reflections와 같은 시각적 효과를 위해) 두 방식의 장점을 결합한 hybrid technique입니다.

Who it’s for

복잡한 조명 효과를 시뮬레이션하거나 비이상적인 camera hardware를 다루어야 하는 3D scene reconstruction, computer graphics, 및 neural rendering 분야의 연구자 및 개발자.

Highlights

• Hybrid Rendering: 성능과 유연성을 최적화하기 위해 rasterization과 ray tracing을 결합합니다.
• Hardware Acceleration: RT cores를 갖춘 NVIDIA GPU에 최적화되어 있습니다.
• Broad Export Support: 학습된 scene은 USD (ParticleField), NuRec USDZ for Omniverse, 또는 PLY 형식으로 내보낼 수 있습니다.
• Advanced Training Features: MCMC densification, selective Adam optimization, 및 physically plausible image signal processing (PPISP)를 지원합니다.