Maelic/RelateAnything

解决的问题

RelateAnything 提供了一种实时预测图像中物体之间关系的方法。与传统系统不同，它是“开放词汇”的，这意味着您可以在推理时定义想要寻找的特定关系（例如“骑乘”、“在旁边”、“在前面”），而无需重新训练模型。

运作原理

该系统使用 DINOv3 主干网络处理图像，并将物体区域转换为视觉标记。配对采样器识别候选关系，Transformer 则利用场景上下文对其进行优化。随后，词汇头会根据用户提供的谓词字符串的文本嵌入对这些配对进行评分。这使得模型能够在单次前向传递中同时识别空间关系（物体在哪里）和语义关系（物体在做什么）。

适用对象

此工具专为从事场景图生成、计算机视觉和实时物体关系分析的开发人员与研究人员而设计。

特色亮点

• 开放词汇： 在执行时定义自定义关系短语，无需重新训练。
• 实时性能： 高速推理（例如在 RTX 3080 上使用 ViT-S+ 每张图像仅需 16.8ms）。
• 灵活输入： 适用于任何物体检测器或分割器；仅需要图像像素和边界框。
• 多种图类型： 可以产生单一排序的关系列表，或分别产生空间和语义图。
• 浏览器就绪： 包含一个使用 WebGPU 或 WASM 在设备上本地运行的演示。