facebookresearch/silk

解決する課題

SiLKは、マッチングや3D再構成に使用される画像内の特徴的な点である「画像キーポイント」を、人間によるラベル付けデータなしで学習するという課題に取り組みます。従来の手法では高価な手動アノテーションが必要でしたが、SiLKは自己教師あり学習アプローチを提供し、モデルが自動的にキーポイントを見つけるように学習させることで、既存のベンチマークで最先端の成果を達成しています。

仕組み

SiLKは、幾何学的な整合性と視覚的な手がかりに依存して、ラベルなし画像からキーポイントを学習する自己教師ありフレームワークを使用します。トレーニングプロセスは2つのGPU（Tesla V100-SXM2でテスト済み）で実行され、約5時間かかります。公開されているコードには、事前学習済みモデルが含まれており、カスタムバックボーン、推論、評価、およびデプロイのためのTorchScriptへの変換をサポートしています。また、3D再構成ワークフローのためにCOLMAPとも統合されています。

対象ユーザー

画像スティッチング、物体追跡、3Dシーン再構成など、信頼性の高いキーポイント検出とマッチングを必要とするコンピュータビジョンタスクに取り組む研究者や開発者。特に、手動ラベル付けを回避し、適応が容易な自己教師あり手法を求めている方に適しています。

ハイライト

• 自己教師あり：人間によるラベル付けされたキーポイントデータは不要。
• シンプルで柔軟：カスタムバックボーンをサポートし、統合が容易。
• 競争力のある結果：標準的なベンチマークおよびIMC2022チャレンジで最先端のパフォーマンスを実現。
• 事前学習済みモデルを提供し、評価、推論、TorchScript変換のためのツールも付属。
• 3D再構成パイプラインのためのCOLMAP統合を含む。