lartpang/SAMs-CDConcepts-Eval

Inspiring the Next Generation of Segment Anything Models: Comprehensively Evaluate SAM and SAM 2 with Diverse Prompts Towards Context-Dependent Concepts under Different Scenes

它解决了什么问题

这个项目提供了一个全面的评估框架，用于测试 Segment Anything Models (SAM 和 SAM 2) 处理“上下文相关”(CD) 概念的能力。虽然这些模型在分割汽车或人等常见物体方面表现出色，但它们在处理依赖于周围上下文的概念时往往表现不佳，例如医学病变、工业缺陷或伪装物体。

工作原理

该框架通过使用 2D 和 3D 图像及视频，在 11 种不同的 CD 概念上对 SAM 和 SAM 2 进行评估。它采用了三种提示策略——手动、自动和中间自提示——来测试模型的判别能力。此外，它还包括提示鲁棒性测试，以模拟提示可能不完美的真实场景。

适用对象

该工具专为从事图像和视频分割的计算机视觉研究人员和开发人员设计，特别是那些希望了解基础模型在医学和工业等专业领域性能边界的人员。

亮点

在自然、医学和工业场景中评估 SAM 和 SAM 2。
支持多种模态，包括 2D/3D 图像和视频。
为手动、自动和中间自提示实现了一个统一的框架。
包括针对不完美提示的鲁棒性测试，以模拟真实世界的使用情况。