zju3dv/OnePose_Plus_Plus

何を解決するか

OnePose++ は、従来の手法に必要な事前 CAD モデルやキーポイントの手動定義を必要とせずに、物体の 3D 位置と向きを推定する課題に対処します。

動作方法

このシステムは、1ショットアプローチを用いて物体のポーズを推定します。訓練データから 2D-3D 対応関係を確立するために、COLMAP を通じた Structure-from-Motion (SfM) を活用して、半密度な物体点群を再構成します。LoFTR を用いた特徴マッチングと DeepLM を用いた最適化のコンポーネントを統合し、ポーズ推定プロセスを精緻化します。

対象ユーザー

このプロジェクトは、コンピュータビジョン、ロボット工学、拡張現実分野で作業する研究者や開発者向けです。彼らは、対象物体のデジタル 3D ブループリント（CAD モデル）にアクセスできない状況で、シーン内の物体を追跡または位置特定する必要がある場合に適しています。

特徴

• CADフリー: 対象物体の 3D CAD モデルの必要性を排除します。
• キーポイントフリー: 手動で定義されたキーポイントの必要性を排除します。
• 1ショット: 最小限の訓練データでポーズを推定できる能力があります。
• モバイル統合: カスタムの訓練データおよびテストデータをキャプチャするための補助 iOS アプリ（OnePose Cap）を備えています。