zju3dv/DetectorFreeSfM

해결하는 문제

이미지 간의 매칭 포인트를 찾기 위해 특징점 검출기에 의존하는 기존 Structure from Motion (SfM) 파이프라인의 한계를 해결합니다. 검출기에 대한 의존성을 제거함으로써, 특히 까다로운 환경에서도 2D 이미지 세트로부터 3D 장면을 더욱 견고하게 재구성할 수 있습니다.

작동 원리

이 프로젝트는 3D 재구성을 위한 "검출기 없는(detector-free)" 접근 방식을 구현합니다. 거친 매칭(예: LoFTR, ASpanFormer, MatchFormer)을 활용하여 초기 대응 관계를 설정한 다음, 다중 뷰 매칭 리파이너를 사용하여 이러한 매칭의 정확도를 향상시킵니다. 최종 결과는 시각화 및 추가 처리를 위해 COLMAP 형식으로 출력됩니다.

대상 사용자

3D 재구성, 사진 측량, 공간 AI 분야의 컴퓨터 비전 연구원 및 엔지니어로, 기존의 특징점 검출에 의존하지 않고 이미지 매칭을 처리할 수 있는 더욱 견고한 방법이 필요한 분들.

주요 특징

• 수상 경력에 빛나는 성능: Image Matching Challenge 2023에서 1위 달성.
• 유연한 매칭: LoFTR, ASpanFormer, MatchFormer를 포함한 다양한 거친 매칭 기법 지원.
• 다중 뷰 리파인먼트: 정밀도를 높이기 위한 다중 뷰 매칭 리파이너 전용 트레이너 포함.
• COLMAP 통합: COLMAP GUI와 호환되는 표준 형식으로 결과를 출력하여 손쉬운 시각화 지원.