prov-gigatime/GigaTIME
GigaTIME: Multimodal AI generates virtual population for tumor microenvironment modeling (Cell)
解決的問題
GigaTIME 設計用於為腫瘤微環境建模生成「虛擬族群」特徵。具體而言,它解決了從常見且廣泛可用的 H&E 病理切片中預測空間蛋白質體學(mIF)的問題,從而無需進行昂貴且複雜的空間蛋白質體學實驗。
工作原理
本專案提供一個跨模態翻譯器,可將 H&E 染色的病理影像轉換為虛擬多重免疫螢光(mIF)地圖。模型包含兩個版本:
- GigaTIME:原始的基於 CNN 的模型。
- GigaTIME-Flash:基於 GigaPath-Flash 建構的高效版本,推論速度提升 6 倍,GPU 記憶體使用量減少 8 倍,同時預測品質也獲得提升。
適用對象
專注於病理學與醫學影像的 AI 研究人員,希望重現相關 Cell 論文的實驗結果,或以此為基礎進行腫瘤微環境分析。
主要亮點
- 跨模態轉換:將常見的 H&E 切片轉換為虛擬 mIF 特徵。
- 高效推論:GigaTIME-Flash 显著降低計算負載,同時提升預測品質。
- 全切片支援:支援分塊與拼接,實現切片級虛擬 mIF 地圖生成。
- 研究導向:專為研究環境中的腫瘤微環境建模而設計。
相關
- 專案
- 專案
- 專案
- 專案
- 專案