facebookresearch/OrienterNet

Source Code for Paper "OrienterNet Visual Localization in 2D Public Maps with Neural Matching"

何を解決するか

OrienterNetは、高価で複雑な3D点群データに依存せずに、大規模な領域内のカメラ画像の正確な位置と向きを特定する「視覚的局所化」の課題に対処します。代わりに、世界中で利用可能な2Dセマンティックマップ（OpenStreetMapなど）を使用して画像の向きを決定します。

動作方法

このシステムは、入力画像のニューラル鳥瞰図（BEV）表現と2Dマップデータを照合することで、位置と向きを推定する深層ニューラルネットワークを使用しています。これにより、モデルは人間が環境のセマンティック構造と視覚的特徴を比較するのと同じように、画像を局所化できます。

対象ユーザー

このプロジェクトは、コンピュータビジョン、ロボット工学、自律ナビゲーションに取り組む研究者や開発者向けです。彼らは公開の2Dマップデータを使って画像を局所化する手段が必要です。

特徴

  • 2Dマップ統合: 3D再構成ではなく、OpenStreetMapデータを用いて局所化を行います。
  • ニューラル照合: 画像とマップを照合するためのニューラル鳥瞰図アプローチを採用しています。
  • 事前学習済みモデル: WebおよびColabデモで即座に利用可能な事前学習済み重みを提供します。
  • クロスデータセット評価: Mapillary Geo-Localization (MGL)およびKITTIデータセットで評価されています。

関連

  • プロジェクト
    rsasaki0109/lidar_localization_ros2

    A map-based 3D LiDAR localization system for ROS 2 and Nav2 that uses NDT and GICP algorithms to align sensor scans with 3D point cloud maps.

  • プロジェクト
    layumi/University1652-Baseline

    A multi-view, multi-source benchmark and baseline for drone-based geo-localization, enabling the matching of drone, satellite, and street-view images to locate buildings.

  • プロジェクト
    nianticlabs/map-free-reloc

    A reference implementation for map-free visual relocalization that enables metric pose estimation relative to a single image, removing the need for large 3D maps.

  • プロジェクト
    facebookresearch/boxer

    Boxerは、ポーズ付き画像と準密な点群を活用して、オープンワールドの2Dオブジェクト検出を室内シーンの3Dオリエンテッドバウンディングボックスに引き上げるシステムです。

  • プロジェクト
    PeterFWS/Structure-PLP-SLAM

    単眼、RGB-D、ステレオカメラに対応する、点、線、平面を用いた効率的なスパースマッピングとローカライゼーションを実現する視覚SLAMシステム。