StanfordMIMI/Merlin

解决的问题

Merlin满足了计算机断层扫描（CT）专用基础模型的需求，该模型能够整合多种医疗数据源，如3D影像、结构化电子健康记录（EHR）和非结构化放射学报告，以执行复杂的医学分析。

工作原理

它是一个3D视觉语言模型（VLM），在结构化EHR数据和非结构化放射学报告上进行了预训练。通过在初始化时启用不同的组件（如图像嵌入、表型分类、疾病预测或报告生成），该模型可以针对不同的特定任务进行配置。

适用对象

从事CT影像、放射学报告自动化和预测性医疗分析的医学AI研究人员和临床医生。

亮点

• 支持3D CT扫描分析。
• 能够生成放射学报告。
• 执行表型分类和五年疾病预测。
• 包含一个已发布的腹部CT数据集，供社区使用。
• 与nnU-Net框架集成，用于分割任务。