hku-mars/GS-SDF

What it solves

GS-SDF는 3D 장면 매핑에서 실사 같은 렌더링과 고정밀 표면 재구성(surface reconstruction)을 동시에 달성해야 하는 과제를 해결합니다. 표준 Gaussian Splatting에서 흔히 발견되는 기하학적 불일치 문제를 LiDAR 데이터를 통합하여 해결함으로써, 재구성된 표면이 물리적으로 근거가 있고 기하학적으로 일관되게 유지되도록 합니다.

How it works

이 시스템은 Gaussian Splatting과 신경망 Signed Distance Field (SDF)를 결합합니다. 정확한 LiDAR 포인트 클라우드를 사용하여 신경망 SDF를 학습시키며, 이는 매니폴드 기하학 필드(manifold geometry field)를 제공합니다. 이 SDF는 Gaussian 프리미티브의 초기화(SDF-based Gaussian initialization)를 안내하고, 학습 과정 동안 기하학적 정규화(geometric regularization)를 제공하여 결과적인 렌더링과 재구성이 장면의 물리적 기하학적 구조와 일치하도록 보장합니다.

Who it’s for

이 프로젝트는 3D 재구성, SLAM (Simultaneous Localization and Mapping), 그리고 로봇 인지 분야에서 작업하는 연구자 및 개발자, 특히 LiDAR-visual 시스템을 사용하는 분들을 대상으로 합니다.

Highlights

• LiDAR-Visual Synergy: LiDAR의 기하학적 강점과 Gaussian Splatting의 실사 같은 외관을 결합합니다.
• SDF-Guided Initialization: 신경망 SDF를 사용하여 Gaussian 프리미티브를 물리적으로 근거가 있는 위치에 배치합니다.
• Headless Rendering: 평가 및 비교를 위해 임의의 카메라 경로를 따라 배치(batch) 플라이스루(fly-through) 렌더링을 지원합니다.
• Multi-camera Support: 멀티 카메라 데이터셋 및 Colmap-format 데이터와 호환됩니다.