prov-gigatime/GigaTIME

GigaTIME: Multimodal AI generates virtual population for tumor microenvironment modeling (Cell)

解決的問題

GigaTIME 設計用於為腫瘤微環境建模生成「虛擬族群」特徵。具體而言,它解決了從常見且廣泛可用的 H&E 病理切片中預測空間蛋白質體學(mIF)的問題,從而無需進行昂貴且複雜的空間蛋白質體學實驗。

工作原理

本專案提供一個跨模態翻譯器,可將 H&E 染色的病理影像轉換為虛擬多重免疫螢光(mIF)地圖。模型包含兩個版本:

  • GigaTIME:原始的基於 CNN 的模型。
  • GigaTIME-Flash:基於 GigaPath-Flash 建構的高效版本,推論速度提升 6 倍,GPU 記憶體使用量減少 8 倍,同時預測品質也獲得提升。

適用對象

專注於病理學與醫學影像的 AI 研究人員,希望重現相關 Cell 論文的實驗結果,或以此為基礎進行腫瘤微環境分析。

主要亮點

  • 跨模態轉換:將常見的 H&E 切片轉換為虛擬 mIF 特徵。
  • 高效推論:GigaTIME-Flash 显著降低計算負載,同時提升預測品質。
  • 全切片支援:支援分塊與拼接,實現切片級虛擬 mIF 地圖生成。
  • 研究導向:專為研究環境中的腫瘤微環境建模而設計。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案