ZJU4HealthCare/HealthGPT

何を解決するか

HealthGPT は、汎用AIと医療分野の特殊なニーズの間のギャップを埋めるために設計された、医療用マルチモーダル大規模言語モデル（MLLM）のファミリーです。2D画像、3Dボリューム、テキストなどの多様な医療データタイプを、理解（コンプレヘンション）と生成の両方の目的で、単一のフレームワーク内で処理するという課題に対処しています。

動作方法

このシリーズには2つの主要モデルがあります：

• HealthGPT-Pro：Qwen3-VL を基盤とする高性能モデル。3Mのアライメントサンプルと10Mの教師ありファインチューニングサンプルを用いた2段階のトレーニング手法により、医療テキスト、2D画像、3Dボリュームデータを分析します。
• HealthGPT：異種低ランク適応（H-LoRA）と3段階学習戦略を用いる統合フレームワーク。事前学習済みLLMが視覚的コンプレヘンションと生成タスクの両方を処理できるようにします。

対象ユーザー

このプロジェクトは、医療AI研究者、医療データアナリスト、および専門的な医療診断または生成ツールを開発する開発者を対象としています。

主な特徴

• 広範なモダリティ対応：CT、MRI、X線、超音波、ヒストパスロジーなど、14種類の異なる医療モダリティをサポート。
• 統合フレームワーク：理解と生成の機能を1つのシステムに統合。
• 3Dボリューム解析：高度な放射線学に不可欠な3D医療ボリュームを特にサポート。
• 最先端のパフォーマンス：複数のテキストおよびマルチモーダルベンチマークで、既存の医療MLLMを上回る性能を発揮。