zju3dv/Murre

해결하는 문제

Murre는 이미지에서 고품질의 다중 시점 3D 재구성의 과제를 해결합니다. 구조-운동(SfM)에서 얻은 희소 깊이 데이터로 프로세스를 안내함으로써 표준 단안 깊이 추정을 개선하여 더 정확하고 일관된 3D 재구성을 가능하게 합니다.

작동 방식

시스템은 세 가지 주요 단계로 작동합니다:

1. SfM 파싱: COLMAP 결과를 분석하여 희소 깊이 맵, 카메라 내부 파라미터, 자세를 추출합니다.
2. SfM 가이드된 깊이 추정: Marigold 기반의 단안 깊이 추정 모델을 사용하여, 희소 SfM 데이터를 가이드로 활용해 다중 시점 간의 기하학적 일관성을 보장하는 고밀도 깊이 맵을 예측합니다.
3. TSDF 융합: 생성된 고밀도 깊이 맵과 카메라 파라미터를 절단된 부호 거리 함수(TSDF) 융합을 통해 최종 3D 재구성을 생성합니다.

대상 사용자

컴퓨터 비전, 3D 장면 재구성, 공간 AI 분야에서 일하는 연구자 및 개발자로, 이미지 세트에서 고정밀 고밀도 3D 모델이 필요한 분들입니다.

주요 특징

• SfM 통합: 희소하고 신뢰할 수 있는 SfM 점과 고밀도 단안 깊이 예측을 결합합니다.
• 강건한 필터링: 재투영 오차 및 최소 공통 가시 시점 수에 대한 임계값을 포함하여 노이즈가 많은 깊이 추정을 제거합니다.
• 유연한 해상도: 처리 해상도 설정을 통해 추론 속도와 재구성 정밀도 사이의 트레이드오프를 사용자가 조절할 수 있습니다.
• 장면 적응성: 조정 가능한 깊이 클리핑 파라미터를 통해 실내 및 실외 장면 모두를 지원합니다.