Maelic/RelateAnything

解決する課題

RelateAnything は、画像内のオブジェクト間の関係をリアルタイムで予測する方法を提供します。従来のシステムとは異なり「オープンボキャブラリー」であるため、推論時に探したい特定の関係（例：「乗っている」、「隣に」、「前に」）を再学習なしで定義できます。

仕組み

このシステムは DINOv3 バックボーンを使用して画像を処理し、オブジェクト領域を視覚トークンに変換します。ペアサンプラーが候補となる関係を特定し、Transformer がシーンのコンテキストを使用してそれらを洗練させます。その後、ボキャブラリーヘッドがユーザー提供の述語文字列のテキスト埋め込みに対してこれらのペアをスコアリングします。これにより、モデルは単一のフォワードパスで空間的関係（どこにあるか）と意味的関係（何をしているか）の両方を識別できます。

対象ユーザー

このツールは、シーングラフ生成、コンピュータビジョン、リアルタイムのオブジェクト関係分析に取り組む開発者や研究者向けに設計されています。

ハイライト

• オープンボキャブラリー： 再学習なしで、実行時にカスタム関係フレーズを定義可能。
• リアルタイム性能： 高速な推論（例：RTX 3080 上で ViT-S+ を使用した場合、1画像あたり 16.8ms）。
• 柔軟な入力： あらゆるオブジェクト検出器やセグメンターと連携可能。必要なのは画像ピクセルとバウンディングボックスのみです。
• 複数のグラフタイプ： 関係の単一ランキングリスト、または空間グラフと意味グラフを個別に生成可能。
• ブラウザ対応： WebGPU または WASM を使用してデバイス上でローカルに実行されるデモが含まれています。