tianrun-chen/SAM-Adapter-PyTorch

Adapting Meta AI's Segment Anything to Downstream Tasks with Adapters and Prompts

What it solves

SAM-Adapter는 위장 객체 탐지, 그림자 탐지, 의료 영상 분할(예: 폴립 분할) 등 어려운 "성능 저하 장면"에 적용될 때 Segment Anything Model (SAM)의 성능 저하 문제를 해결합니다.

How it works

사전 학습된 SAM 백본(SAM, SAM2, SAM3 지원)을 어댑터 메커니즘으로 하위 작업에 적용합니다. 이를 통해 원래 모델이 실패할 수 있는 특정 어려운 시각 환경에서도 SAM의 일반적인 분할 능력을 유지하면서 특화된 성능을 발휘할 수 있습니다.

Who it’s for

저대비, 위장, 의료 영상 등 특수 이미지 분할 작업을 수행하는 컴퓨터 비전 연구자 및 개발자를 위한 것입니다.

Highlights

SAM, SAM2, SAM3 백본 지원.
위장 객체 탐지(COD10K, CAMO, CHAMELEON) 및 그림자 탐지(ISTD)에서 입증된 효과.
폴립 분할(Kvasir 데이터셋) 등 의료 영상 작업에도 적용 가능.
다양한 GPU 메모리 제약에 맞춰 ViT-H, ViT-L, ViT-B 버전별 설정 파일 제공.