ZJU4HealthCare/HealthGPT
【ICML 2025 Spotlight】 Official Repo for Paper ‘’HealthGPT : A Medical Large Vision-Language Model for Unifying Comprehension and Generation via Heterogeneous Knowledge Adaptation‘’
解决的问题
HealthGPT 是一组专为弥合通用人工智能与医疗领域特殊需求之间差距而设计的医疗多模态大语言模型（MLLM）。它解决了在单一框架内处理多种医疗数据类型（如 2D 图像、3D 体积和文本）以实现理解（认知）和生成的挑战。
工作原理
该系列包含两个主要模型：
- HealthGPT-Pro：基于 Qwen3-VL 的高性能模型。采用两阶段训练方案（3M 对齐样本和 10M 监督微调样本），用于分析医疗文本、2D 图像和 3D 体积数据。
- HealthGPT：一种统一框架，使用异构低秩适配（H-LoRA）和三阶段学习策略，使预训练 LLM 能够同时处理视觉认知和生成任务。
适用人群
本项目面向医疗 AI 研究人员、医疗数据分析师以及开发专业医疗诊断或生成工具的开发者。
主要亮点
- 广泛模态支持：支持 CT、MRI、X 射线、超声波和组织病理学等 14 种不同医疗模态。
- 统一框架：在一个系统中整合了认知与生成能力。
- 3D 体积分析：特别支持 3D 医疗体积，这是高级放射学的关键需求。
- 领先性能：在多个文本和多模态基准测试中，性能优于现有多种医疗 MLLM。
相关
- 项目
- 项目
- Dispatch
- 项目
- Dispatch