prov-gigapath/prov-gigapath

Prov-GigaPath: A whole-slide foundation model for digital pathology from real-world data

解決的問題

Prov-GigaPath 解決了數位病理科中分析整片影像（WSI）的挑戰。這些影像通常過於龐大，無法由標準 AI 模型作為單一輸入處理，因此需要一種方法，從局部組織模式與整片層級的上下文兩方面提取有意義的特徵。

工作原理

該系統採用兩階段編碼架構：

  1. 切片編碼器：從切片的單一影像區塊（切片）中提取局部模式與特徵。
  2. 整片編碼器：接收切片編碼器的嵌入向量及其空間座標，生成整片的全面表示。

為提升效率，本專案提供 GigaPath-Flash，這是一種輕量級變體，使用 LongNet 主幹與 DINOv2-small 切片編碼器，以減少記憶體使用並提升推論速度。

適用對象

專為從事病理學基礎模型、數位病理科以及整片影像資料編碼的 AI 研究人員設計。

主要亮點

  • 基礎模型：在真實世界數位病理科資料上訓練的大規模模型。
  • 雙層架構：將局部切片級特徵萃取與全域切片級聚合分離。
  • 高效變體：包含「Flash」版本，支援更快的推論與更低的記憶體需求。
  • 研究就緒：提供 PCam 與 PANDA 等資料集的預先提取嵌入，便於進行微調實驗。

相關

  • 專案
    mahmoodlab/TRIDENT

    用於 AI 病理學中大規模全切片影像處理的工具包，提供使用多種基礎模型進行組織分割與特徵提取的端對端流程。

  • 專案
    histolab/histolab

    用於處理數位病理科中全切片影像（WSIs）的工具，提供自動組織偵測與深度學習管道用的資訊豐富塊提取。

  • 專案
    rendeirolab/LazySlide

    A Python framework for whole slide image analysis that integrates with the scverse ecosystem to enable interoperable and scalable histological workflows.

  • 專案
    prov-gigatime/GigaTIME

    一個從常規 H&E 病理切片生成腫瘤微環境建模用虛擬空間蛋白質體（mIF）特徵的多模態 AI 專案。

  • 專案
    Dana-Farber-AIOS/pathml

    PathML 是一個開源的 Python 函式庫（亦提供 Docker 映像），可簡化全片病理工作流程：載入多種切片格式、執行可擴展的前處理（染色正規化、切片、GPU 轉換）、將資料轉換為 PyTorch 張量、建構細胞層級圖形，並執行深度學習或 ONNX 模型。它旨在降低 AI 驅動的計算病理門檻，已在多篇高影響力的生醫出版物中使用。