PoseLib/PoseLib

Minimal solvers for calibrated camera pose estimation

解決的問題

PoseLib 是一個用於相機姿態估計的最小求解器函式庫。它解決了基於不同類型的對應關係（例如 2D 影像與 3D 世界之間，或兩張 2D 影像之間的點對點、點對線和線對線匹配）來確定相機位置和方向（姿態）的挑戰。

運作方式

該函式庫提供了一系列獨立且快速的求解器，實作了用於絕對和相對姿態估計的最先進演算法。它使用一致的呼叫介面並將外部依賴降至最低（主要依賴 Eigen）。

為了處理資料中的雜訊和離群值，它實作了基於 LO-RANSAC 的穩健估計器，該估計器使用最小求解器產生假設，然後執行非線性最佳化（最小化重投影或 Sampson 誤差）以找到最準確的姿態。

它支援各種相機模型（與 COLMAP 相容），並提供 Python 綁定以便輕鬆整合到其他工作流程中。

適用對象

本函式庫專為從事電腦視覺、SLAM（同步定位與地圖構建）和 3D 重建的開發人員和研究人員設計，他們需要用於相機姿態估計的高效能、穩健工具。

特色

  • 多樣化的求解器支援：包含用於絕對姿態、相對姿態、單應性矩陣和基礎矩陣的求解器。
  • 穩健估計：內建 LO-RANSAC 和非線性最佳化（Bundle Adjustment），並具備多種損失函數（Huber、Cauchy 等）。
  • 單目深度整合：利用基於神經網路的單目深度估計的專用求解器，以改善相對姿態估計。
  • 最小依賴性：設計輕量，易於提取特定求解器以整合到其他框架中。
  • COLMAP 相容性：使用與 COLMAP 相容的相機模型和資料格式。

相關

  • 專案
    nianticlabs/map-free-reloc

    A reference implementation for map-free visual relocalization that enables metric pose estimation relative to a single image, removing the need for large 3D maps.

  • 專案
    perfanalytics/pose2sim

    一種無標記的3D運動學工作流程，利用OpenSim將低成本攝影機拍攝的2D影片轉換為研究級3D關節角度與骨骼分析。

  • 專案
    MIT-SPARK/KISS-Matcher

    一種快速且穩健的點雲配準庫，用於對齊 3D 點雲以確定相對旋轉與平移。

  • 專案
    ACFR-RPG/DynOSAM

    DynoSAM 是一種用於動態 SLAM 的立體/RGB-D 視覺里程計流程，可在建構靜態背景的同時估計相機位姿與物體運動。

  • 專案
    Tau-J/rtmlib

    rtmlib 是一個輕量級 Python 庫，用於人體與動物姿態估計，封裝了 RTMPose 與 ViTPose 模型。它避開了重型 OpenMMLab 依賴，僅需 numpy、OpenCV 與 ONNX Runtime（支援可選 GPU/加速器後端）。該套件提供高階解決方案類別（Wholebody、Body、Hand、Animal、Custom、Wholebody3d），結合檢測器（YOLOX、RFDETR、RTMDet）與姿態估計器，並附帶骨架繪製工具。模型可自動從 OpenMMLab 或 HuggingFace 鏡像下載。可透過 pip 或原始碼安裝，並執行 Gradio WebUI 或使用 Python API 進行單圖、影片或攝影機推論。