lartpang/SAMs-CDConcepts-Eval

무엇을 해결하는가

이 프로젝트는 Segment Anything Models (SAM 및 SAM 2)가 "context-dependent" (CD) 개념을 얼마나 잘 처리하는지 테스트하기 위한 종합적인 평가 프레임워크를 제공합니다. 이러한 모델들은 자동차나 사람과 같은 일반적인 객체를 분할하는 데는 뛰어나지만, 의료 병변, 산업 결함 또는 위장된 객체와 같이 주변 문맥에 의존하는 개념에는 종종 어려움을 겪습니다.

작동 방식

이 프레임워크는 2D 및 3D 이미지와 비디오를 사용하여 11가지의 서로 다른 CD 개념에 대해 SAM과 SAM 2를 평가합니다. 모델의 판별 능력을 테스트하기 위해 수동, 자동 및 중간 단계의 셀프 프롬프팅(self-prompting)이라는 세 가지 프롬프팅 전략을 채택합니다. 또한, 프롬프트가 완벽하지 않을 수 있는 실제 시나리오를 시뮬레이션하기 위해 프롬프트 강건성(robustness) 테스트를 포함합니다.

대상 사용자

이 도구는 이미지 및 비디오 분할 작업을 수행하는 컴퓨터 비전 연구자 및 개발자를 위해 설계되었으며, 특히 의료 및 산업과 같은 전문 분야에서 파운데이션 모델의 성능 한계를 이해하고자 하는 분들을 대상으로 합니다.

주요 특징

• 자연, 의료 및 산업 장면 전반에 걸쳐 SAM과 SAM 2를 모두 평가합니다.
• 2D/3D 이미지 및 비디오를 포함한 다양한 모달리티를 지원합니다.
• 수동, 자동 및 중간 단계의 셀프 프롬프팅을 위한 통합 프레임워크를 구현합니다.
• 실제 사용 사례를 시뮬레이션하기 위해 불완전한 프롬프트에 대한 강건성 테스트를를 포함합니다.