RongLiu-Leo/beta-splatting

해결하는 문제

가변 베타 스플래터링(Deformable Beta Splatting, DBS)은 3D 가우시안 스플래터링(3DGS)의 한계를 해결합니다. 특히 가우시안 커널과 저차원 구면 조화함수(Spherical Harmonics, SH)에 의존하는 점에서 복잡한 형상을 정확히 포착하지 못하고 다양한 색상을 표현하기 어려운 문제를 해결합니다. 더 높은 정밀도의 기하학적 세부 정보와 개선된 색상 표현을 제공하면서도 메모리 사용량을 줄이고 렌더링 속도를 높이는 것을 목표로 합니다.

작동 방식

DBS는 표준 가우시안 커널 대신 유연한 베타 커널을 사용합니다. 베타 커널은 유한한 지지 영역과 적응형 주파수 제어를 통해 더 정밀한 기하학적 표현이 가능합니다. 또한, 이 베타 커널을 색상 인코딩에 확장하여 SH 기반 방법보다 확산 및 반사 성분을 더 잘 표현합니다. 더불어, 특정 커널 특성에 의존하지 않고 정규화된 불투명도에 기반한 분포 보존형 마르코프 체인 몬테카를로(MCMC) 밀도화 기법을 구현했습니다.

대상 사용자

이 도구는 실시간 레디언스 필드 렌더링, 3D 재구성, 컴퓨터 비전 분야에서 연구 및 개발을 수행하는 연구자와 개발자에게 적합합니다.

주요 특징

• 높은 효율성: 3DGS-MCMC의 45%만의 파라미터로 사용하면서도 1.5배 빠르게 렌더링 가능.
• 고정밀도: 가우시안 기반 방법보다 더 세밀한 기하학적 세부 정보와 복잡한 색상을 효과적으로 포착.
• 작은 저장 공간: 표준 PLY 파일 대비 저장 용량을 5~6배 줄일 수 있는 압축 유틸리티 포함.
• 최첨단 품질: Mip-NeRF 360 및 Tanks and Temples 등 다양한 벤치마크에서 뛰어난 시각적 품질 달성.