zju3dv/EfficientLoFTR

解決する課題

EfficientLoFTRは、局所特徴量マッチングにおけるマッチング品質と処理速度のトレードオフを解決します。半密なマッチング（2枚の画像間で多数の対応点を検出）を提供しながら、スパースマッチング手法に匹敵する速度を実現します。

仕組み

このシステムは、半密なアプローチを使用して画像ペア間の局所特徴量をマッチングします。パフォーマンスと速度のバランスをとるために、さまざまな構成を提供しています：

• モデルタイプ: ユーザーは、最高のマッチング品質を得るための full モデルか、品質の低下を最小限に抑えつつ効率を高める opt（最適化）モデルを選択できます。
• 精度モード: フル精度 (fp32)、混合精度 (mp)、半精度 (fp16) など、複数の精度レベルをサポートしており、最新のGPUでの推論をさらに高速化します。
• 統合: このプロジェクトは Hugging Face Transformers ライブラリに統合されており、AutoImageProcessor と AutoModel を使用して効率的な推論が可能です。

対象ユーザー

このツールは、コンピュータビジョンの研究者や開発者、特にドローンによる位置特定、自動運転、3D再構成などのアプリケーションで効率的な画像マッチングを必要とする方のために設計されています。

ハイライト

• 半密なマッチング: 特徴量マッチングの密度とスパース手法の速度を両立。
• 柔軟な効率性: 複数のモデルタイプと精度設定により、速度と精度のバランスを調整可能。
• Hugging Face 統合: transformers ライブラリを通じて簡単にデプロイ可能。
• 幅広い応用: MegaDepth で学習されており、屋外シーンで高いパフォーマンスを発揮。