MrGiovanni/ModelsGenesis

[MICCAI 2019 Young Scientist Award] [MedIA Best Paper Award] Models Genesis: self-supervised pre-training for 3D medical images. Learns transferable representations from unlabeled CT and MRI volumes, then fine-tunes for downstream segmentation and classification. Keras and PyTorch weights included.

解决的问题

Models Genesis 解决了用于分割和分类的高性能深度学习模型通常需要大量手动标注的3D医学图像(如CT和MRI扫描)这一稀缺问题。

工作原理

它使用自监督学习框架,在无标签数据上对3D模型进行预训练。模型通过执行图像恢复代理任务来学习潜在的解剖结构,即必须重建那些被故意扭曲的体积。这些扭曲包括:

  • 非线性强度变换
  • 局部像素打乱
  • 外补(Out-painting)
  • 内补(In-painting)

预训练完成后,这些“通用自学者模型”可作为基础模型,用于特定下游医学影像任务的微调。

适用人群

需要训练准确的3D分析模型但标注数据有限的医学影像研究人员和临床医生。

亮点

  • 自监督学习:无需任何人工标签即可学习视觉表示。
  • 原生3D:专为3D体数据设计,而非依赖基于2D ImageNet的迁移学习。
  • 经验证的性能:与 nnU-Net 结合后,在 Medical Segmentation Decathlon 的肝脏/肿瘤和海马体分割任务中取得顶尖排名。
  • 灵活实现:同时提供 PyTorch 和 Keras 版本。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目