zju3dv/EfficientLoFTR

해결하는 문제

EfficientLoFTR은 로컬 특징 매칭에서 매칭 품질과 처리 속도 간의 트레이드오프를 해결합니다. 반밀집 매칭(두 이미지 간의 많은 대응점 찾기)을 제공하면서도 희소 매칭 방식에 필적하는 속도를 달성합니다.

작동 원리

이 시스템은 반밀집 접근 방식을 사용하여 이미지 쌍 간의 로컬 특징을 매칭합니다. 성능과 속도의 균형을 맞추기 위해 다양한 구성을 제공합니다:

• 모델 유형: 사용자는 최대 매칭 품질을 위한 full 모델이나, 품질 손실을 최소화하면서 효율성을 높인 opt(최적화) 모델 중 선택할 수 있습니다.
• 정밀도 모드: 전체 정밀도(fp32), 혼합 정밀도(mp), 반정밀도(fp16) 등 여러 정밀도 수준을 지원하여 최신 GPU에서의 추론을 더욱 가속화합니다.
• 통합: 이 프로젝트는 Hugging Face Transformers 라이브러리에 통합되어 있어 AutoImageProcessor 및 AutoModel을 사용하여 간편하게 추론을 수행할 수 있습니다.

대상 사용자

이 도구는 컴퓨터 비전 분야의 연구원 및 개발자, 특히 드론 위치 추정, 자율 주행, 3D 재구성과 같은 애플리케이션에서 효율적인 이미지 매칭이 필요한 사용자를 위해 설계되었습니다.

주요 특징

• 반밀집 매칭: 특징 매칭의 밀도와 희소 방식의 속도를 결합했습니다.
• 유연한 효율성: 다양한 모델 유형과 정밀도 설정을 통해 사용자가 속도와 정확도 간의 균형을 조정할 수 있습니다.
• Hugging Face 통합: transformers 라이브러리를 통해 쉽게 배포할 수 있습니다.
• 광범위한 적용: MegaDepth에서 학습되어 야외 장면에서 높은 성능을 발휘합니다.