facebookresearch/silk

해결하는 문제

SiLK은 매칭 및 3D 재구성에 사용되는 이미지 내의 독특한 점인 이미지 키포인트를 사람의 라벨링 데이터 없이 학습하는 과제를 해결합니다. 기존 방식은 비용이 많이 드는 수동 주석 작업이 필요하지만, SiLK은 모델이 자동으로 키포인트를 찾도록 학습시키는 자기지도 학습 접근 방식을 제공하여 기존 벤치마크에서 최첨단 결과를 달성합니다.

작동 원리

SiLK은 기하학적 일관성과 시각적 단서에 의존하여 라벨이 없는 이미지로부터 키포인트를 학습하는 자기지도 학습 프레임워크를 사용합니다. 학습 과정은 2개의 GPU(Tesla V100-SXM2에서 테스트됨)에서 실행되며 약 5시간이 소요됩니다. 공개된 코드에는 사전 학습된 모델이 포함되어 있으며, 커스텀 백본, 추론, 평가 및 배포를 위한 TorchScript 변환을 지원합니다. 또한 3D 재구성 워크플로우를 위해 COLMAP과 통합됩니다.

대상 사용자

이미지 스티칭, 객체 추적 또는 3D 장면 재구성과 같이 신뢰할 수 있는 키포인트 탐지 및 매칭이 필요한 컴퓨터 비전 작업을 수행하는 연구자 및 개발자. 특히 수동 라벨링을 피하고 적응하기 쉬운 자기지도 학습 방식을 원하는 분들에게 적합합니다.

주요 특징

• 자기지도 학습: 사람이 라벨링한 키포인트 데이터가 필요 없음.
• 단순하고 유연함: 커스텀 백본을 지원하며 통합이 쉬움.
• 경쟁력 있는 결과: 표준 벤치마크 및 IMC2022 챌린지에서 최첨단 성능 달성.
• 사전 학습된 모델 제공 및 평가, 추론, TorchScript 변환을 위한 도구 포함.
• 3D 재구성 파이프라인을 위한 COLMAP 통합 포함.