facebookresearch/OrienterNet
Source Code for Paper "OrienterNet Visual Localization in 2D Public Maps with Neural Matching"
解決的問題
OrienterNet 解決了視覺定位的挑戰——在大範圍內確定相機影像的精確位置與方向，而無需依賴昂貴且複雜的 3D 點雲。相反，它使用全球可取得的 2D 語意地圖（如 OpenStreetMap）來決定影像的方向。
工作原理
該系統使用深度神經網路，透過將輸入影像的神經鳥瞰圖（BEV）表示與 2D 地圖資料進行比對，來估計位置與方向。這使得模型能像人類一樣，透過將視覺特徵與環境的語意佈局進行比較，來實現影像定位。
適用對象
本專案專為從事電腦視覺、機器人與自主導航的研究人員與開發者設計，他們需要一種利用公開 2D 地圖資料對影像進行定位的方法。
主要亮點
- 2D 地圖整合：使用 OpenStreetMap 資料進行定位，而非 3D 重構。
- 神經匹配：採用神經鳥瞰圖方法將影像與地圖進行比對。
- 預訓練模型：提供預訓練權重，可透過網頁與 Colab 示範立即使用。
- 跨資料集評估：在 Mapillary Geo-Localization (MGL) 與 KITTI 資料集上進行評估。
相關
- 專案
- 專案
- 專案
- 專案
- 專案