facebookresearch/silk

解决的问题

SiLK 解决了学习图像关键点（用于匹配和 3D 重建的图像中的独特特征点）的挑战，且无需人工标注数据。传统方法需要昂贵的人工标注，而 SiLK 提供了一种自监督方法，通过训练模型自动寻找关键点，并在现有基准测试中实现了最先进的结果。

工作原理

SiLK 使用一个自监督框架，通过依赖几何一致性和视觉线索从无标签图像中学习关键点。训练过程在两个 GPU（已在 Tesla V100-SXM2 上测试）上运行，耗时约 5 小时。发布的代码包含预训练模型，并支持自定义骨干网络、推理、评估以及转换为 TorchScript 以进行部署。它还集成了 COLMAP 以支持 3D 重建工作流。

适用人群

从事计算机视觉任务的研究人员和开发人员，如果需要可靠的关键点检测和匹配（如图像拼接、物体跟踪或 3D 场景重建），特别是那些希望使用无需人工标注且易于适配的自监督方法的人。

亮点

• 自监督：无需人工标注的关键点数据。
• 简单灵活：支持自定义骨干网络，易于集成。
• 竞争性结果：在标准基准测试和 IMC2022 挑战赛中表现达到最先进水平。
• 提供预训练模型，以及用于评估、推理和 TorchScript 转换的工具。
• 包含用于 3D 重建流水线的 COLMAP 集成。