zju3dv/MatchAnything

MatchAnything – ユニバーサルクロスモダリティ画像マッチング

何ができるか

• 異なる視覚モダリティ（例：RGB画像、赤外線、スケッチ、深度マップなど）からの画像間の対応関係を検出できる単一のモデルを学習する。
• 非常に大規模で多様なデータセットで事前学習されているため、タスク固有の微調整なしに「どんな画像もマッチング」できる。

なぜ重要か

• 伝統的な画像マッチングパイプライン（SIFT、SuperPointなど）は、2つの画像が同じ外観ドメインに属する場合にのみ良好に動作する。ロボット工学、リモートセンシング、医療画像、ARでは、センサーが異種のデータを生成するためクロスモダリティマッチングが必要となる。
• ユニバーサルマッチャーにより、各モダリティペアごとに別々のパイプラインを構築する工数を削減できる。

主な構成要素（READMEに記載）

1. 大規模な事前学習 – 複数のモダリティにわたる膨大なペア画像データセットでネットワークを学習し、モダリティに依存しない特徴を学習可能にする。
2. ユニバーサルマッチャー構造 – READMEにはネットワークの詳細は記載されていないが、名前から推測されるように、任意のモダリティペアに使用可能な密な記述子を出力する単一のバックボーンを持つ。
3. 事前学習済み重み – Hugging Faceにホストされているため、すぐに推論を実行できる準備ができているモデルが利用可能。
4. デモ – インタラクティブなHugging Face Spaceで、異なる種類の2枚の画像をアップロードし、マッチング結果を即座に確認できる。

導入方法

1. READMEにリンクされたHugging Faceデモにアクセスして、何もインストールせずにモデルを試す。
2. リポジトリをクローンし、公開予定の（将来の）学習手順に従う。
3. 提供された事前学習済み重み（Hugging Faceのthird_party/MatchAnythingフォルダにあり）を使用して、独自の画像ペアで推論を実行する。

対象ユーザー

• クロスモダリティ対応を必要とする研究者やエンジニア。
• 複数のセンサーからのデータを統合するロボット、ドローン、ARデバイスのためのセンシングスタックを開発する開発者。

論文と引用

• この手法は論文『MatchAnything: Large-Scale Pre-Trainingを用いたユニバーサルクロスモダリティ画像マッチング』（TPAMI 2026）で説明されている。READMEには引用用のBibTeXエントリが提供されている。

現在の状態

• 事前学習済みモデルは公開されている。
• 学習コードは後日リリース予定。

---

上記のすべての情報はリポジトリのREADMEから直接取得したものであり、追加機能は推測されていない。