MrGiovanni/ModelsGenesis

[MICCAI 2019 Young Scientist Award] [MedIA Best Paper Award] Models Genesis: self-supervised pre-training for 3D medical images. Learns transferable representations from unlabeled CT and MRI volumes, then fine-tunes for downstream segmentation and classification. Keras and PyTorch weights included.

解決的問題

Models Genesis 解決了用於分割與分類的高性能量子深度學習模型通常需要大量手動標記的3D醫學影像(如CT與MRI掃描)的稀缺問題。

工作原理

它使用自監督學習框架,在無標記資料上對3D模型進行預訓練。模型透過執行影像還原代理任務來學習潛在的解剖結構,即必須重建那些被故意扭曲的體積。這些扭曲包括:

  • 非線性強度轉換
  • 局部像素打亂
  • 外補(Out-painting)
  • 內補(In-painting)

預訓練完成後,這些「通用自學模型」可作為基礎模型,用於特定下游醫學影像任務的微調。

適用對象

需要訓練精確的3D分析模型但標記資料有限的醫學影像研究人員與臨床醫生。

亮點

  • 自監督學習:無需任何人工標記即可學習視覺表示。
  • 原生3D:專為3D體數據設計,而非依賴基於2D ImageNet的遷移學習。
  • 經驗驗證的效能:與 nnU-Net 結合後,在 Medical Segmentation Decathlon 的肝臟/腫瘤與海馬體分割任務中取得頂尖排名。
  • 靈活實作:同時提供 PyTorch 與 Keras 版本。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案