cvg/LightGlue

解决的问题

LightGlue 解决了快速准确图像匹配的需求。它识别两幅图像之间的对应点，这是计算机视觉中的一项基本任务，同时相比以前的方法显著减少了所需的计算时间。

工作原理

LightGlue 是一个深度神经网络，使用自适应机制处理图像对。它根据图像对的复杂度动态调整其深度（使用的层数）和宽度（考虑的关键点数量）。对于“简单”的图像对，它快速完成；对于“困难”的图像对，它优化计算以保持准确性，而不会产生不必要的开销。它支持多种特征提取器，如 SuperPoint、DISK、ALIKED 和 SIFT。

适用人群

它专为从事视觉定位或运动恢复结构等计算机视觉任务的开发者和研究人员设计，这些任务需要高性能的特征匹配，并且能够在 GPU 和 CPU 上高效运行。

亮点

• 相比之前最先进的匹配器（如 SuperGlue），提供 4-10 倍的加速。
• 具有自适应剪枝功能，可自动跳过简单图像对的不必要计算。
• 支持 FlashAttention 和 PyTorch 编译，以实现最大性能。
• 直接与 Hugging Face Transformers 集成，便于在 Python 中实现。
• 提供灵活的配置，可根据特定硬件需求在速度和准确性之间进行权衡。