computational-cell-analytics/micro-sam

Segment Anything for Microscopy

micro‑sam – 显微镜专用的 Segment Anything

是什么 – micro_sam 是一个开源 Python 库和一组 napari 插件,将 Meta 的 Segment Anything Model (SAM) 引入生物显微镜领域。它允许研究人员仅通过几次点击即可交互式地分割 2D 和 3D 显微镜图像(如细胞、线粒体),甚至可以跨时间追踪对象。

为何重要 – 显微镜数据通常规模大且异质性强,手动标注非常繁琐。通过利用 SAM 的基础模型并提供显微镜专用的微调权重,micro_sam 无需大量训练数据即可实现快速、高质量的掩码生成。


核心功能

功能 你将获得
交互式 2‑D 分割 在 napari 中通过点击(点、框、画笔)输入提示,即可立即获得细胞级掩码。
交互式 3‑D 分割 同样的提示工作流扩展至体数据堆栈(如电子显微镜)。
交互式追踪 在每个帧完成分割后,插件可跨时间链接掩码,生成细胞追踪谱系。
显微镜专用微调模型 针对荧光、明场、电子显微镜等场景微调的预训练 SAM 权重;包含适用于低资源环境的 tiny‑ViT 模型。
自动提示生成(APG) 可选模块,可自动提出提示,实现完全自动化分割。
参数高效微调(PEFT‑SAM) 提供工具,以极小的 GPU 内存开销将 SAM 适配至新的显微镜模态。
与其他工具集成 兼容 napari、WebKnossos、QuPath;可从脚本或笔记本中调用。

快速上手

  1. 安装 – 支持 PyPI、conda‑forge 和 napari 插件形式:
    pip install micro_sam   # 或
    conda install -c conda-forge micro_sam
    
  2. 启动 – 打开 napari 并添加 micro‑sam 插件(例如:Plugins → micro‑sam → Interactive 2‑D Segmentation)。
  3. 使用 – 加载图像堆栈,放置几个提示,点击 Run 即可获得掩码。如需追踪,可在每个帧分割后运行追踪小部件。
  4. 了解更多 – README 中链接了完整文档、快速入门视频和 YouTube 教程系列。

适合谁使用?

  • 细胞生物学家、神经生物学家和电镜专家:需要快速、可重复地分割细胞、细胞器或亚细胞结构的人。
  • 图像分析核心设施:希望获得即插即用解决方案,并与现有 napari 工作流集成的团队。
  • 开发者:对将 SAM 扩展至新显微镜模态或构建自定义微调管道感兴趣的人。

如何贡献?

本项目欢迎文档修改、错误修复和新功能开发。贡献者应先打开一个 issue,再遵循 CONTRIBUTING.md 中的指南。所有参与者均需遵守代码行为准则。


如何引用?

若在出版物中使用 micro_sam,请引用配套的 Nature Methods 论文、原始 SAM 论文,以及所用的任何专用组件(如 Mobile‑SAM、Trackastra、APG 等)。软件本身的 DOI 为 https://doi.org/10.5281/zenodo.7919746。


相关生态系统

  • 其他 napari‑SAM 插件:napari-sam、napari-segment-anything、napari-SAM4IS(主要为 2D)。
  • 基于 micro_sam 构建的下游项目:patho-sam(病理学)、medico-sam(医学影像)、peft-sam(参数高效微调)。

总结 – micro_sam 将强大且通用的 Segment Anything 模型转化为一个实用、面向显微镜的工具,可在流行的 napari 查看器中运行,为多种生物成像数据提供快速交互式分割与追踪能力。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目