inspatio/querysplat

해결하는 문제

QuerySplat은 3D 가우스 스플래터링(3DGS) 표현을 이미지에서 예측하는 과제를 해결하기 위해 기하학적 표현과 외관 표현을 분리함으로써, 더 정확한 3D 장면 재구성 가능하게 합니다.

작동 방식

이 시스템은 전방향 모델을 사용하여 3D 가우스를 예측하고 렌더링합니다. VGGT-Omega와 통합되어 이미지 인코딩, 카메라 예측, 깊이 예측을 수행합니다. 파이프라인은 사용자 정의 이미지 전처리를 포함하며, LPIPS와 같은 재구성 목표에 기반하여 예측된 3D 장면을 더욱 정교하게 다듬는 선택적 테스트 시점 최적화(TTO) 단계를 제공합니다.

대상 사용자

이 프로젝트는 3D 가우스 스플래터링 및 신경망 기반 장면 표현에 집중하는 3D 컴퓨터 비전 분야의 연구자 및 개발자들을 위한 것입니다.

주요 특징

• 기하학과 외관을 분리하여 더 나은 3DGS 예측을 가능하게 함.
• 빠른 전방향 추론과 정교한 테스트 시점 최적화(TTO)를 모두 지원.
• VGGT-Omega와 통합되어 강력한 카메라 및 깊이 추정을 제공.
• 가우스 PLY 파일 내보내기 및 불투명도 및 스케일 분포 분석을 위한 도구 제공.