facebookresearch/OrienterNet

해결하는 문제

OrienterNet은 고가이고 복잡한 3D 포인트 클라우드에 의존하지 않고, 대규모 영역 내에서 카메라 이미지의 정확한 위치와 방향을 결정하는 '시각적 국소화' 문제를 해결합니다. 대신, 전 세계적으로 이용 가능한 2D 세미틱 맵(예: OpenStreetMap)을 사용하여 이미지의 방향을 결정합니다.

작동 방식

이 시스템은 입력 이미지의 신경망 기반 Bird's-Eye-View(BEV) 표현을 2D 맵 데이터와 매칭함으로써 위치와 방향을 추정하는 딥 뉴럴 네트워크를 사용합니다. 이는 모델이 인간이 환경의 세미틱 레이아웃과 시각적 특징을 비교하는 방식으로 이미지를 국소화할 수 있게 합니다.

대상 사용자

이 프로젝트는 컴퓨터 비전, 로보틱스, 자율 주행 분야에서 일하는 연구자 및 개발자들을 위한 것입니다. 이들은 공개된 2D 맵 데이터를 사용하여 이미지를 국소화할 수 있는 방법이 필요합니다.

주요 특징

• 2D 맵 통합: 3D 재구성 대신 OpenStreetMap 데이터를 사용하여 국소화합니다.
• 신경망 매칭: 이미지를 맵에 매칭하기 위해 신경망 기반 Bird's-Eye-View 접근 방식을 사용합니다.
• 사전 학습된 모델: 웹 및 Colab 데모를 통해 즉시 사용 가능한 사전 학습된 가중치를 제공합니다.
• 다중 데이터셋 평가: Mapillary Geo-Localization (MGL) 및 KITTI 데이터셋에서 평가되었습니다.