zju3dv/DetectorFreeSfM

解決する課題

画像間のマッチングポイントを見つけるために特徴点検出器に依存する、従来のStructure from Motion (SfM) パイプラインの制限を解決します。検出器を不要にすることで、特に困難な環境下において、2D画像セットからより堅牢に3Dシーンを再構築することが可能になります。

仕組み

本プロジェクトは、3D再構築に対する「検出器不要」のアプローチを実装しています。粗いマッチング（LoFTR、ASpanFormer、MatchFormerなど）を利用して初期の対応関係を確立し、その後、マルチビューマッチングリファイナーを使用してこれらのマッチングの精度を向上させます。最終結果は、可視化やさらなる処理のために COLMAP 形式で出力されます。

対象ユーザー

3D再構築、写真測量、空間AIに取り組むコンピュータビジョンの研究者やエンジニアで、従来の特徴点検出に頼らずに画像マッチングを処理する、より堅牢な方法を必要としている方。

ハイライト

• 受賞歴のあるパフォーマンス: Image Matching Challenge 2023で第1位を獲得。
• 柔軟なマッチング: LoFTR、ASpanFormer、MatchFormer を含む複数の粗いマッチング手法をサポート。
• マルチビューリファインメント: 精度を高めるためのマルチビューマッチングリファイナー専用のトレーナーを搭載。
• COLMAP 統合: COLMAP GUI と互換性のある標準形式で結果を出力し、容易な可視化を実現。