Joey-S-Liu/MedSAM3

MedSAM3: Delving into Segment Anything with Medical Concepts

解决的问题

MedSAM3 旨在通过消除对边界框或点等手动提示的需求,简化医学图像分割。取而代之的是,用户可以使用纯文本引导的医学概念(例如“皮肤病变”)来分割医学目标。

工作原理

该项目基于 SAM3 模型采用参数高效的微调策略。它利用 LoRA(低秩适应)技术,将基础模型适配到一个大规模、多样化的医学数据集,该数据集包含超过 658,000 张图像和近 290 万条实例标注,涵盖 330 种独特的医学概念。

适用人群

需要在多种模态(包括放射学(CT、MRI、PET、X光)、光学/显微成像以及基于视频的程序(超声、内窥镜、手术))中使用灵活且稳健的分割工具的医学影像研究人员和临床医生。

主要亮点

  • 文本引导分割: 基于医学概念而非手动坐标进行目标分割。
  • 广泛模态支持: 覆盖放射学、显微镜、组织病理学和手术视频。
  • 定制医学数据集: 在包含 658,094 张图像和 2,863,974 条标注的大规模数据集上训练。
  • 高效微调: 利用 LoRA 实现对基础 SAM3 模型的参数高效适应。

相关

  • 项目
  • 项目
  • 项目
  • 项目