zsylvester/segmenteverygrain

해결하는 문제

지형학 및 퇴적지질학에서 입자 크기와 모양을 분석하는 데 필수적인 이미지 내 입자(또는 입자 유사 물체)의 탐지 및 세그멘테이션을 자동화합니다. 단독으로 Segment Anything Model(SAM)을 사용할 때 발생하는 한계, 예를 들어 "모든 것" 모드에서의 느린 처리 속도, 겹치는 마스크 또는 배경 노이즈 생성 등을 해결합니다.

작동 방식

이 도구는 두 단계의 프로세스를 사용합니다. 먼저, 패치 기반의 합성곱 신경망(U-Net 스타일)이 초기의 대략적인 세그멘테이션을 생성합니다. 이 첫 번째 단계의 결과를 바탕으로 SAM 2.1에 정밀한 프롬프트를 생성하여 입자의 고해상도 최종 윤곽을 생성합니다. 시스템에는 마우스 클릭과 키보드 단축키를 통해 입자를 추가, 삭제, 병합할 수 있는 인터랙티브 편집 인터페이스(GrainPlot)와 분류를 위한 입자 추출 및 클러스터링을 위한 grain_utils 모듈도 포함되어 있습니다.

대상 사용자

사진 이미지에서 입자 특성을 정확히 측정해야 하는 지질학자, 지형학자 및 연구자들입니다.

주요 특징

• 하이브리드 ML 접근법: 빠른 프롬프트 생성을 위한 U-Net과 고정밀 세그멘테이션을 위한 SAM 2.1을 결합합니다.
• 인터랙티브 품질 관리: 마우스 클릭과 키보드 단축키를 통해 입자를 추가, 삭제, 병합할 수 있는 전용 인터페이스입니다.
• 파인튜닝 가능: 새로운 이미지 유형에 대해 기준 U-Net 모델을 실제로 파인튜닝하여 탐지 정확도를 향상시킬 수 있습니다.
• 분석 도구: 개별 입자를 자르는 기능, 사전 학습된 CNN(VGG16, ResNet50, InceptionV3)을 이용한 특징 추출, K-means 또는 DBSCAN을 이용한 클러스터링을 내장한 유틸리티.