nianticlabs/map-free-reloc

解决的问题

本项目旨在解决视觉重定位的挑战，即确定相机在3D空间中的精确位置和方向。传统方法通常需要使用数百张图像构建复杂的场景3D地图。本项目实现了“无地图”重定位，使系统能够在无需预先构建3D地图的情况下，根据单张参考图像确定其相对于该图像的度量位姿。

工作原理

本项目提供了ECCV 2022所发表研究的参考实现。它包含一个涵盖655个户外场景的大规模数据集，每个场景都有特定的兴趣点。系统利用查询图像和参考图像来估计相机的位姿。它支持多种基准方法，包括相对位姿回归 (RPR) 以及结合深度估计的特征匹配，并提供了用于评估和可视化这些位姿估计与地面真值数据对比的工具。

适用人群

本仓库专为从事空间AI、机器人技术和增强现实研究的计算机视觉研究人员和开发人员设计，他们需要在无法获取3D地图数据的场景中对相机位姿估计算法进行基准测试。

主要亮点

• 包含一个专门用于训练和测试的655个户外场景数据集。
• 提供官方在线基准测试和排行榜，用于比较不同的重定位方法。
• 支持单帧和多帧（最多9帧）查询轨道。
• 提供模块化配置，用于测试不同的编码器、聚合器和损失函数。
• 包含预训练模型以及用于本地评估和结果可视化的脚本。