Joey-S-Liu/MedSAM3

해결하는 문제

MedSAM3는 경계 상자나 점과 같은 수동 프롬프트가 필요 없도록 의료 영상 세그멘테이션을 단순화하도록 설계되었습니다. 대신 사용자는 "피부 병변"과 같은 순수한 텍스트 기반 의료 개념을 사용하여 의료 대상을 세그멘테이션할 수 있습니다.

작동 방식

이 프로젝트는 SAM3 모델 기반의 파라미터 효율적인 피니어튜닝 전략을 사용합니다. LoRA(Low-Rank Adaptation)를 활용하여, 330개의 고유한 의료 개념에 걸쳐 658,000장 이상의 이미지와 약 290만 개의 인스턴스 애너테이션을 포함하는 대규모이고 다양한 의료 데이터셋에 기본 모델을 적응시킵니다.

대상 사용자

CT, MRI, PET, X선과 같은 방사선학, 광학/현미경 영상, 초음파, 내시경, 수술과 같은 동영상 기반 절차를 포함한 다양한 모달리티에서 작동하는 유연하고 견고한 세그멘테이션 도구가 필요한 의료 영상 연구자 및 임상의.

주요 특징

• 텍스트 기반 세그멘테이션: 수동 좌표 대신 의료 개념에 기반하여 대상을 세그멘테이션합니다.
• 광범위한 모달리티 지원: 방사선학, 현미경, 조직병리학, 수술 영상 등을 포함합니다.
• 맞춤형 의료 데이터셋: 658,094장의 이미지와 2,863,974개의 애너테이션을 포함한 대규모 데이터셋에서 훈련되었습니다.
• 효율적인 튜닝: 기본 SAM3 모델의 파라미터 효율적인 적응을 위해 LoRA를 사용합니다.