PoseLib/PoseLib

Minimal solvers for calibrated camera pose estimation

解决的问题

PoseLib 是一个用于相机位姿估计的最小求解器库。它解决了基于不同类型的对应关系（例如 2D 图像与 3D 世界之间，或两张 2D 图像之间的点对点、点对线和线对线匹配）来确定相机位置和方向（位姿）的挑战。

工作原理

该库提供了一系列独立且快速的求解器，实现了用于绝对和相对位姿估计的最先进算法。它使用一致的调用接口并将外部依赖降至最低（主要依赖 Eigen）。

为了处理数据中的噪声和异常值，它实现了基于 LO-RANSAC 的鲁棒估计器，该估计器使用最小求解器生成假设，然后执行非线性优化（最小化重投影或 Sampson 误差）以找到最准确的位姿。

它支持各种相机模型（与 COLMAP 兼容）并提供 Python 绑定以便轻松集成到其他工作流程中。

适用人群

本库专为从事计算机视觉、SLAM（同步定位与地图构建）和 3D 重建的开发人员和研究人员设计，他们需要用于相机位姿估计的高性能、鲁棒工具。

亮点

  • 多样化的求解器支持：包含用于绝对位姿、相对位姿、单应性矩阵和基础矩阵的求解器。
  • 鲁棒估计：内置 LO-RANSAC 和非线性优化（Bundle Adjustment），并具备多种损失函数（Huber、Cauchy 等）。
  • 单目深度集成：利用基于神经网络的单目深度估计的专用求解器，以改善相对位姿估计。
  • 最小依赖性：设计轻量，易于提取特定求解器以集成到其他框架中。
  • COLMAP 兼容性：使用与 COLMAP 兼容的相机模型和数据格式。

相关

  • 项目
    nianticlabs/map-free-reloc

    A reference implementation for map-free visual relocalization that enables metric pose estimation relative to a single image, removing the need for large 3D maps.

  • 项目
    perfanalytics/pose2sim

    一种无需标记的3D运动学工作流，利用OpenSim将低成本摄像头拍摄的2D视频转换为研究级3D关节角度和骨骼分析。

  • 项目
    MIT-SPARK/KISS-Matcher

    一种快速且稳健的点云配准库，用于对齐 3D 点云以确定相对旋转和平移。

  • 项目
    ACFR-RPG/DynOSAM

    DynoSAM 是一个用于 Dynamic SLAM 的 Stereo/RGB-D Visual Odometry 流水线，它在绘制静态背景地图的同时，估计相机位姿和物体运动。

  • 项目
    Tau-J/rtmlib

    rtmlib 是一个轻量级 Python 库，用于人体和动物姿态估计，封装了 RTMPose 和 ViTPose 模型。它避免了重型 OpenMMLab 依赖，仅需 numpy、OpenCV 和 ONNX Runtime（支持可选 GPU/加速器后端）。该包提供高阶解决方案类（Wholebody、Body、Hand、Animal、Custom、Wholebody3d），结合检测器（YOLOX、RFDETR、RTMDet）和姿态估计器，并附带骨架绘制工具。模型可自动从 OpenMMLab 或 HuggingFace 镜像下载。可通过 pip 或源码安装，并运行 Gradio WebUI 或使用 Python API 进行单图、视频或摄像头推理。