zju3dv/OnePose_Plus_Plus

解決的問題

OnePose++ 解決了物體姿態估計的挑戰——在不需要預先存在的 CAD 模型或手動定義關鍵點的情況下，確定物體在三維空間中的位置與方向，而這些通常是傳統方法所必需的。

工作原理

該系統採用單次（one-shot）方法來估計物體的姿態。它利用 COLMAP 實現的運動恢復結構（SfM）來重建半稠密的物體點雲，並從訓練資料中建立 2D-3D 對應關係。系統整合了 LoFTR 用於特徵匹配，DeepLM 用於優化，以精煉姿態估計過程。

適用對象

本專案專為從事電腦視覺、機器人和擴增實境領域的研究人員與開發者設計，他們需要在無法取得物體數位 3D 藍圖（CAD 模型）的情況下，對場景中的物體進行追蹤或定位。

亮點

• 無 CAD 模型：無需目標物體的 3D CAD 模型。
• 無關鍵點：無需手動定義關鍵點。
• 單次學習：僅需極少的訓練資料即可估計姿態。
• 行動端整合：包含配套的 iOS 應用程式（OnePose Cap），用於擷取自訂訓練與測試資料。