StanfordMIMI/Merlin

解決的問題

Merlin滿足了電腦斷層掃描（CT）專用基礎模型的需求，該模型能夠整合多種醫療資料來源，如3D影像、結構化電子健康記錄（EHR）和非結構化放射學報告，以執行複雜的醫學分析。

運作原理

它是一個3D視覺語言模型（VLM），在結構化EHR資料和非結構化放射學報告上進行了預訓練。透過在初始化時啟用不同的元件（如影像嵌入、表現型分類、疾病預測或報告生成），該模型可以針對不同的特定任務進行配置。

適用對象

從事CT影像、放射學報告自動化和預測性醫療分析的醫學AI研究人員和臨床醫生。

亮點

• 支援3D CT掃描分析。
• 能夠生成放射學報告。
• 執行表現型分類和五年疾病預測。
• 包含一個已發布的腹部CT資料集，供社群使用。
• 與nnU-Net框架整合，用於分割任務。