computational-cell-analytics/micro-sam

Segment Anything for Microscopy

micro‑sam – 마이크로스코피를 위한 Segment Anything

무엇인가요 – micro_sam는 오픈소스 파이썬 라이브러리이자 napari 플러그인 세트로, 메타의 Segment Anything Model (SAM) 을 생물학적 마이크로스코피에 적용합니다. 연구자들은 2D 및 3D 마이크로스코피 이미지(예: 세포, 미토콘드리아)를 몇 번의 클릭만으로 인터랙티브하게 세그멘테이션할 수 있으며, 시간 경과에 따라 객체를 추적할 수도 있습니다.

왜 중요한가요 – 마이크로스코피 데이터는 종종 크고 다양하여 수동 레이블링이 번거롭습니다. SAM의 기초 모델과 마이크로스코피 전용으로 미세조정된 가중치를 활용함으로써 micro_sam 는 대규모 학습 데이터 없이도 빠르고 고품질의 마스크를 제공합니다.


핵심 기능

기능 제공되는 기능
인터랙티브 2‑D 세그멘테이션 napari 내에서 포인트, 박스, 브러시 기반의 프롬프트를 클릭하여 즉시 세포 수준의 마스크를 얻을 수 있습니다.
인터랙티브 3‑D 세그멘테이션 볼륨 스택(예: 전자현미경)에 확장된 동일한 프롬프트 워크플로우를 제공합니다.
인터랙티브 추적 각 프레임을 세그멘테이션한 후 플러그인은 시간에 걸쳐 마스크를 연결하여 세포 트랙 라인을 생성합니다.
마이크로스코피 전용 미세조정 모델 형광, 밝은 필드, 전자현미경 등에 적합한 사전 학습된 SAM 가중치를 포함하며, 자원이 제한된 환경용으로 tiny‑ViT 모델도 제공합니다.
자동 프롬프트 생성 (APG) 완전 자동 세그멘테이션을 위한 프롬프트를 자동으로 제안하는 선택적 모듈입니다.
파라미터 효율적인 미세조정 (PEFT‑SAM) 최소한의 GPU 메모리로 SAM을 새로운 마이크로스코피 모달리티에 적응시키는 도구를 제공합니다.
다른 도구와의 통합 napari, WebKnossos, QuPath와 호환되며, 스크립트나 노트북에서 호출할 수 있습니다.

시작하기

  1. 설치 – PyPI, conda‑forge, napari 플러그인으로 사용 가능:
    pip install micro_sam   # 또는
    conda install -c conda-forge micro_sam
    
  2. 실행 – napari를 열고 micro‑sam 플러그인을 추가하세요 (예: Plugins → micro‑sam → Interactive 2‑D Segmentation).
  3. 사용법 – 이미지 스택을 로드하고 몇 가지 프롬프트를 배치한 후 Run 을 눌러 마스크를 얻으세요. 추적을 원하면 각 프레임의 세그멘테이션 후 추적 위젯을 실행하세요.
  4. 자세히 알아보기 – README에서 전체 문서, 빠른 시작 동영상, YouTube 튜토리얼 시리즈 링크를 확인하세요.

누구에게 적합한가요?

  • 세포생물학자, 신경생물학자, 전자현미경 전문가 – 세포, 세포소기관, 또는 세포 내 구조물의 빠르고 재현 가능한 세그멘테이션을 필요로 하는 분들.
  • 이미지 분석 핵심 시설 – 기존 napari 워크플로우와 통합 가능한 즉시 사용 가능한 솔루션을 찾는 분들.
  • 개발자 – SAM을 새로운 마이크로스코피 모달리티로 확장하거나, 맞춤형 미세조정 파이프라인을 구축하고 싶은 분들.

기여 방법

본 프로젝트는 문서 수정, 버그 수정, 새로운 기능 추가를 환영합니다. 기여 전에 먼저 이슈를 열고 CONTRIBUTING.md 의 가이드라인을 따르세요. 모든 참여자는 코드 오브 콘덕트를 준수해야 합니다.


논문 인용

micro_sam 을 논문에 사용할 경우, 관련된 Nature Methods 논문, 원본 SAM 논문, 그리고 사용한 특수 컴포넌트(Mobile‑SAM, Trackastra, APG 등)를 인용하세요. 소프트웨어 자체의 DOI는 https://doi.org/10.5281/zenodo.7919746 입니다.


관련 생태계

  • 다른 napari‑SAM 플러그인: napari-sam, napari-segment-anything, napari-SAM4IS (주로 2D).
  • micro_sam 기반의 후속 프로젝트: patho-sam (병리학), medico-sam (의료 영상), peft-sam (파라미터 효율적 미세조정).

결론 – micro_sam 은 강력하고 일반적인 Segment Anything 모델을 실용적이고 마이크로스코피에 특화된 도구로 전환하여, 인기 있는 napari 뷰어 내에서 작동하게 하여 다양한 생물학적 이미징 데이터에 대한 빠른 인터랙티브 세그멘테이션과 추적을 가능하게 합니다.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트