ZJU4HealthCare/HealthGPT
【ICML 2025 Spotlight】 Official Repo for Paper ‘’HealthGPT : A Medical Large Vision-Language Model for Unifying Comprehension and Generation via Heterogeneous Knowledge Adaptation‘’
解決的問題
HealthGPT 是一組專為彌合通用人工智慧與醫療領域特殊需求之間差距而設計的醫療多模態大語言模型（MLLM）。它解決了在單一框架內處理多種醫療資料類型（如 2D 圖像、3D 體積和文字）以實現理解（認知）與生成的挑戰。
工作原理
該系列包含兩個主要模型：
- HealthGPT-Pro：基於 Qwen3-VL 的高性能模型。採用兩階段訓練方案（3M 對齊樣本和 10M 監督微調樣本），用於分析醫療文字、2D 圖像和 3D 體積資料。
- HealthGPT：一種統一框架，使用異構低秩適配（H-LoRA）和三階段學習策略，使預訓練 LLM 能夠同時處理視覺認知與生成任務。
適用對象
本專案面向醫療 AI 研究人員、醫療資料分析師以及開發專業醫療診斷或生成工具的開發者。
主要亮點
- 廣泛模態支援：支援 CT、MRI、X 光、超音波和組織病理科等 14 種不同醫療模態。
- 統一框架：在一個系統中整合了認知與生成能力。
- 3D 體積分析：特別支援 3D 醫療體積，這是高階放射學的關鍵需求。
- 領先性能：在多個文字與多模態基準測試中，表現優於現有各種醫療 MLLM。
相關
- 專案
- 專案
- Dispatch
- 專案
- Dispatch