zsylvester/segmenteverygrain

解決的問題

自動化檢測與分割影像中的顆粒（或類似顆粒的物件），這對於分析地貌學與沉積地質學中的顆粒大小與形狀至關重要。解決了單獨使用 Segment Anything Model (SAM) 的限制，例如在「全部」模式下處理速度慢，以及產生重疊遮罩或背景雜訊的問題。

工作原理

該工具採用兩階段流程：首先，基於補丁的卷積神經網絡（U-Net 風格）產生初始粗略分割。此第一步的結果用於為 SAM 2.1 生成精確提示，進而產生顆粒的高品質最終輪廓。系統還包含一個互動式編輯介面（GrainPlot），用於手動品質控制，允許使用者刪除、合併或新增顆粒，以及一個 grain_utils 模組，用於提取與聚類顆粒以進行分類。

適用對象

需要從照片影像中準確測量顆粒特徵的地質學家、地貌學家與研究人員。

主要亮點

• 混合機器學習方法：結合 U-Net 實現快速提示生成，結合 SAM 2.1 實現高精度分割。
• 互動式品質控制：提供專用介面，透過滑鼠點擊與鍵盤快捷鍵新增、刪除或合併顆粒。
• 可微調：可在新影像類型上實際微調基礎 U-Net 模型，以提升檢測準確性。
• 分析工具：內建工具用於裁剪單一顆粒，使用預訓練 CNN（VGG16、ResNet50、InceptionV3）提取特徵，並使用 K-means 或 DBSCAN 進行聚類。