nianticlabs/map-free-reloc

해결 과제

이 프로젝트는 3D 공간에서 카메라의 정확한 위치와 방향을 결정하는 시각적 재위치 추정(visual relocalization)의 과제를 해결합니다. 기존 방법은 일반적으로 수백 장의 이미지를 사용하여 장면의 복잡한 3D 맵을 구축해야 합니다. 이 프로젝트는 '맵 프리(map-free)' 재위치 추정을 가능하게 하여, 사전에 구축된 3D 맵 없이도 단일 참조 이미지에 대한 메트릭 포즈를 시스템이 결정할 수 있도록 합니다.

작동 원리

이 프로젝트는 ECCV 2022에서 발표된 연구에 대한 참조 구현을 제공합니다. 여기에는 각각 특정 관심 지점을 특징으로 하는 655개의 야외 장면으로 구성된 대규모 데이터셋이 포함되어 있습니다. 시스템은 쿼리 이미지와 참조 이미지를 사용하여 카메라의 포즈를 추정합니다. 상대 포즈 회귀(RPR) 및 깊이 추정과 결합된 특징 매칭을 포함한 다양한 베이스라인 접근 방식을 지원하며, 이러한 포즈 추정치를 그라운드 트루스 데이터와 비교하여 평가하고 시각화하는 도구를 제공합니다.

대상 사용자

이 저장소는 3D 맵 데이터를 사용할 수 없는 시나리오에서 카메라 포즈 추정 알고리즘을 벤치마킹해야 하는 공간 AI, 로봇 공학 및 증강 현실 분야의 컴퓨터 비전 연구원 및 개발자를 위해 설계되었습니다.

주요 특징

• 학습 및 테스트를 위한 655개의 야외 장면 전용 데이터셋 포함.
• 다양한 재위치 추정 방법을 비교하기 위한 공식 온라인 벤치마크 및 리더보드 제공.
• 단일 프레임 및 다중 프레임(최대 9프레임) 쿼리 트랙 모두 지원.
• 다양한 인코더, 어그리게이터 및 손실 함수를 테스트하기 위한 모듈식 구성 제공.
• 로컬 평가 및 결과 시각화를 위한 사전 학습된 모델과 스크립트 포함.