inspatio/querysplat

해결하는 문제

QuerySplat은 이미지로부터 3D Gaussian Splatting (3DGS) 표현을 예측하는 문제를 해결합니다. 구체적으로, 기하학과 외관의 표현을 분리하여 3D 장면 재구성 품질과 정확도를 향상시킵니다.

작동 방식

이 시스템은 렌더링을 위한 3D 가우시안을 예측하기 위해 피드포워드 모델을 사용합니다. 이미지 인코딩, 카메라 예측 및 깊이 예측에 VGGT-Omega를 활용합니다. 프로세스에는 사용자 정의 이미지 전처리가 포함되며, LPIPS 가중치를 사용하여 재구성 목적을 정교하게 만드는 선택적 테스트 시 최적화(TTO)로 강화할 수 있습니다. 제공된 데이터셋의 포즈에 의존하지 않고 자체 카메라 매개변수를 추정하는 '포즈 프리' 모드로 작동할 수도 있습니다.

대상 사용자

이 프로젝트는 3D 장면 재구성, 뉴럴 렌더링 및 컴퓨터 비전을 연구하는 연구자와 개발자, 특히 효율적인 3D Gaussian Splatting 예측에 관심이 있는 사람들을 위한 것입니다.

주요 특징

• 분리된 표현: 더 나은 3DGS 예측을 위해 기하학과 외관을 분리합니다.
• 포즈 프리 기능: 외부 포즈 데이터 없이 내부적으로 카메라 매개변수를 추정할 수 있습니다.
• 테스트 시 최적화: 장면 품질을 더욱 정교하게 만드는 선택적 TTO 단계를 포함합니다.
• 통합: 견고한 이미지 인코딩 및 깊이/카메라 예측을 위해 VGGT-Omega 기반으로 구축되었습니다.