HKUST-SAIL/Gaussian-Splatting-with-Stochastic-Solids

해결하는 문제

이 프로젝트는 Gaussian Splatting에서 지오메트리를 고정하는 문제를 해결하여 3D 가우시안 표현에서 고품질 메시를 추출할 수 있도록 합니다. 이는 표준 Gaussian Splatting 기술보다 재구성된 표면의 정확도를 향상시키는 것을 목표로 합니다.

작동 원리

이 시스템은 "Stochastic Solids"를 활용하여 Gaussian Splatting의 지오메트리를 고정합니다. 재구성 과정을 개선하기 위해 다음과 같은 여러 고급 구성 요소를 통합합니다.

• 2DGS 및 PGSR의 손실 함수 항.
• GOF (Gaussian Opacity Fields)의 밀도화 전략.
• Mip-Splatting의 필터.
• 렌더링 개선을 위한 선택적 구형 가우시안(Spherical Gaussian) 외관 모델.
• 학습된 표현을 사용 가능한 3D 메시로 변환하기 위한 Marching Tetrahedra (CGAL 사용) 기반의 메시 추출 프로세스.

대상 사용자

이 도구는 3D 장면 재구성, 새로운 뷰 합성, 그리고 포인트 기반 표현에서 고충실도 메시 추출을 연구하는 컴퓨터 비전 및 그래픽스 분야의 연구자와 개발자를 위해 설계되었습니다.

주요 특징

• Marching Tetrahedra를 통한 고품질 메시 추출 지원.
• DTU 및 Tanks and Temples와 같은 표준 데이터셋과 호환.
• 지오메트리 고정 및 외관 모델링을 위한 여러 최신 기술 통합.
• 결과를 시각화하기 위한 SIBR 프레임워크 기반의 전용 뷰어 제공.