cvg/LightGlue

解決する問題

LightGlue は、高速かつ正確な画像マッチングのニーズに応えます。2つの画像間の対応点を特定します。これはコンピュータビジョンにおける基本的なタスクであり、従来の方法と比較して必要な計算時間を大幅に削減します。

仕組み

LightGlue は、適応メカニズムを使用して画像ペアを処理する深層ニューラルネットワークです。画像ペアの複雑さに基づいて、その深さ（使用する層の数）と幅（考慮するキーポイントの数）を動的に調整します。「簡単な」ペアでは迅速に完了し、「難しい」ペアでは、不要なオーバーヘッドなしに精度を維持するように計算を最適化します。SuperPoint、DISK、ALIKED、SIFT などのさまざまな特徴抽出器をサポートしています。

対象ユーザー

視覚的ローカリゼーションや Structure-from-Motion などのコンピュータビジョンタスクに取り組む開発者や研究者向けに設計されており、GPU と CPU の両方で効率的に実行できる高性能な特徴マッチングが必要です。

ハイライト

• 以前の最先端のマッチャー（SuperGlue など）と比較して 4〜10 倍の高速化を実現。
• 適応的プルーニングを備え、より単純な画像ペアに対して不要な計算を自動的にスキップします。
• FlashAttention と PyTorch コンパイルをサポートし、最大のパフォーマンスを実現します。
• Hugging Face Transformers と直接統合され、Python での実装が容易です。
• 特定のハードウェア要件に基づいて速度と精度をトレードオフする柔軟な構成を提供します。