ZJU4HealthCare/HealthGPT

해결하는 문제

HealthGPT는 일반적인 AI와 의료 분야의 특수한 요구 사항 사이의 격차를 메우기 위해 설계된 의료용 다모달 대규모 언어 모델(MLLM)의 패밀리입니다. 이는 2D 이미지, 3D 볼륨, 텍스트와 같은 다양한 의료 데이터 유형을 이해(컴프리헨션) 및 생성 작업을 위한 단일 프레임워크 내에서 처리하는 도전 과제를 해결합니다.

작동 방식

이 시리즈는 두 가지 주요 모델로 구성됩니다:

• HealthGPT-Pro: Qwen3-VL 기반의 고성능 모델입니다. 3M의 어라이어먼트 샘플과 10M의 감독 학습 샘플을 사용한 이단계 학습 레시피를 통해 의료 텍스트, 2D 이미지, 3D 볼륨 데이터를 분석합니다.
• HealthGPT: 이질적 낮은 랭크 적응(H-LoRA)과 3단계 학습 전략을 사용하는 통합 프레임워크로, 사전 학습된 LLM이 시각적 이해 및 생성 작업을 모두 수행할 수 있도록 합니다.

대상 사용자

이 프로젝트는 의료 AI 연구자, 의료 데이터 분석가, 전문적인 의료 진단 또는 생성 도구를 개발하는 개발자를 대상으로 합니다.

주요 특징

• 광범위한 모달리티 지원: CT, MRI, X-ray, 초음파, 조직병리학 등 총 14가지의 다양한 의료 모달리티를 지원합니다.
• 통합 프레임워크: 하나의 시스템 내에서 이해 및 생성 기능을 통합합니다.
• 3D 볼륨 분석: 고급 영상의학에 필수적인 3D 의료 볼륨을 특별히 지원합니다.
• 최첨단 성능: 여러 텍스트 및 멀티모달 벤치마크에서 기존 의료 MLLM들을 능가하는 성능을 보입니다.