nv-tlabs/3dgrut

해결하는 문제

3DGRUT은 전통적인 가우시안 스플래팅(3DGS)과 레이 트레이싱의 한계를 해결합니다. 3DGS는 빠르지만 롤링 셔터와 같은 왜곡된 카메라 및 복잡한 조명 효과에 취약하고, 전통적인 레이 트레이싱은 더 유연하지만 실시간 사용에는 종종 너무 느립니다. 3DGRUT은 복잡한 카메라 왜곡과 2차 조명 효과(반사, 굴절, 그림자)를 지원하는 고품질 3D 장면을 렌더링하기 위한 하이브리드 접근 방식을 제공합니다.

작동 방식

이 프로젝트는 세 가지 서로 다른 렌더링 기법을 구현합니다:

• 3D 가우시안 레이 트레이싱 (3DGRT): 부피형 가우시안 입자에 대한 레이 트레이싱을 수행하여 왜곡된 카메라와 복잡한 광학 현상을 위한 2차 레이를 지원합니다.
• 3D 가우시안 언스케인티드 트랜스폼 (3DGUT): 왜곡된 카메라를 지원하면서도 레스터라이제이션의 높은 효율성을 유지하는 레스터라이제이션 기반 프레임워크입니다.
• 3DGRUT: 주 레이를 레스터라이제이션으로(속도를 위해), 2차 레이를 레이 트레이싱으로(시각적 정확도를 위해) 렌더링하는 하이브리드 방법입니다.

대상 사용자

왜곡된 카메라 입력을 처리하거나 가우시안 기반 장면에서 현실적인 빛 전달을 시뮬레이션해야 하는 3D 재구성, 신경 렌더링, 컴퓨터 그래픽스 분야의 연구자 및 개발자.

주요 특징

• 하이브리드 렌더링: 성능과 시각적 품질의 균형을 위해 레스터라이제이션과 레이 트레이싱을 결합합니다.
• 왜곡된 카메라 지원: 롤링 셔터와 같은 시간에 따라 변하는 복잡한 효과를 처리합니다.
• 고급 조명 효과: 반사, 굴절, 그림자를 효율적으로 시뮬레이션합니다.
• 확장 가능한 프레임워크: Neural Harmonic Textures (NHT), MCMC 밀도화, 물리적으로 타당한 ISP 후처리를 지원합니다.
• 생산 준비 완료: NVIDIA Omniverse 등 도구에서 사용 가능한 USD (ParticleField), PLY, NuRec 형식으로 내보내기 기능을 포함합니다.