nianticlabs/map-free-reloc

解決する課題

このプロジェクトは、3D空間におけるカメラの正確な位置と向きを特定する視覚的再ローカリゼーションの課題に取り組んでいます。従来の手法では、通常、数百枚の画像を使用してシーンの複雑な3Dマップを構築する必要があります。このプロジェクトは「マップフリー」な再ローカリゼーションを実現し、事前に構築された3Dマップを必要とせずに、単一の参照画像に対するメトリックポーズをシステムが特定できるようにします。

仕組み

このプロジェクトは、ECCV 2022で発表された研究の参照実装を提供します。これには、それぞれ特定の関心地点を特徴とする655の屋外シーンの大規模データセットが含まれています。システムはクエリ画像と参照画像を使用してカメラのポーズを推定します。相対ポーズ回帰 (RPR) や深度推定と組み合わせた特徴マッチングなど、さまざまなベースライン手法をサポートしており、これらのポーズ推定をグラウンドトゥルースデータと比較して評価および可視化するためのツールを提供します。

対象読者

このリポジトリは、3Dマップデータが利用できないシナリオでカメラポーズ推定アルゴリズムをベンチマークする必要がある、空間AI、ロボティクス、拡張現実に取り組むコンピュータビジョンの研究者および開発者向けに設計されています。

ハイライト

• トレーニングとテストのための655の屋外シーン専用データセットが含まれています。
• さまざまな再ローカリゼーション手法を比較するための公式オンラインベンチマークとリーダーボードを提供します。
• シングルフレームおよびマルチフレーム（最大9フレーム）のクエリトラックの両方をサポートしています。
• さまざまなエンコーダー、アグリゲーター、損失関数をテストするためのモジュール式構成を提供します。
• ローカルでの評価および結果の可視化のための事前学習済みモデルとスクリプトが含まれています。