hbb1/2d-gaussian-splatting

해결하는 문제

이 프로젝트는 전통적인 3D 가우스 스플래팅에서의 기하학적 정확도 부족을 해결합니다. 3D 타원체 대신 2D 방향성 디스크(surfels)로 장면을 표현함으로써, 더 기하학적으로 정확한 레디언스 필드를 생성하고, 고품질 3D 메시로 변환하기 쉽게 만듭니다.

작동 방식

시스템은 장면을 2D 방향성 디스크의 집합으로 표현하고, 시점 보정된 미분 가능한 래스터라이저를 사용하여 렌더링합니다. 재구성 품질을 향상시키기 위해 법선 일관성과 깊이 왜곡에 대한 특별한 정규화를 사용합니다. 메시 추출에는 TSDF(Truncated Signed Distance Function) 융합을 사용하며, 특정 부피용 제한 모드와 대규모 장면을 처리하기 위해 공간을 구형으로 수축하고 적응형 절단을 사용하는 비제한 모드를 모두 지원합니다.

대상 사용자

이 도구는 컴퓨터 비전, 3D 재구성, 새로운 시점 합성 분야에서 일하는 연구자 및 개발자들을 위한 것으로, 단순히 시각적으로 타당한 렌더링이 아니라 고정밀 기하학적 표면이 필요한 경우에 적합합니다.

주요 특징

• 기하학적으로 정확함: 2D surfels을 사용하여 더 나은 표면 정렬과 정확도를 보장합니다.
• 미분 가능한 래스터라이저: 효율적인 학습을 위한 커스텀 CUDA 가속 surfel 래스터라이저를 구현했습니다.
• 유연한 메시화: 다양한 장면 크기에 대응하는 제한 및 비제한 메시 추출을 지원합니다.
• 광범위한 호환성: COLMAP 및 NeRF Synthetic 데이터셋과 호환되며, SIBR 및 WebGL 기반 도구를 포함한 여러 뷰어와 통합 가능합니다.