prov-gigatime/GigaTIME
GigaTIME: Multimodal AI generates virtual population for tumor microenvironment modeling (Cell)
解决的问题
GigaTIME 旨在为肿瘤微环境建模生成「虚拟人群」特征。具体而言,它解决了从常规且广泛可用的 H&E 病理切片中预测空间蛋白组学(mIF)的问题,从而无需进行昂贵且复杂的空间蛋白组学实验。
工作原理
该项目提供了一个跨模态翻译器,可将 H&E 染色的病理图像转换为虚拟多重免疫荧光(mIF)图谱。模型包含两个版本:
- GigaTIME:原始的基于 CNN 的模型。
- GigaTIME-Flash:基于 GigaPath-Flash 构建的高效版本,推理速度提升 6 倍,GPU 内存使用量减少 8 倍,同时预测质量得到提升。
适用人群
专注于病理学和医学影像的 AI 研究人员,希望复现相关 Cell 论文的实验结果,或在此基础上开展肿瘤微环境分析工作。
主要亮点
- 跨模态转换:将常规 H&E 切片转换为虚拟 mIF 特征。
- 高效推理:GigaTIME-Flash 显著降低计算开销,同时提升预测质量。
- 全切片支持:支持分块与拼接,实现切片级虚拟 mIF 图谱生成。
- 研究导向:专为研究环境中的肿瘤微环境建模而设计。
相关
- 项目
- 项目
- 项目
- 项目
- 项目