StanfordMIMI/Merlin

해결하는 문제

Merlin은 CT 스캔을 위한 전문 기반 모델로, 3D 이미징, 구조화된 전자 건강 기록(EHR), 비구조화된 방사선 보고서와 같은 다양한 의료 데이터 소스를 통합하여 복잡한 의료 분석을 수행해야 하는 필요성을 해결합니다.

작동 방식

구조화된 EHR 데이터와 비구조화된 방사선 보고서 모두에서 사전 학습된 3D 비전-언어 모델(VLM)입니다. 모델은 초기화 중에 이미지 임베딩, 표현형 분류, 질병 예측, 보고서 생성과 같은 다양한 구성 요소를 활성화하여 특정 작업에 맞게 구성할 수 있습니다.

대상 사용자

CT 이미징, 방사선 보고서 자동화, 예측 의료 분석에 종사하는 의료 AI 연구자와 임상의.

주요 기능

• 3D CT 스캔 분석을 지원합니다.
• 방사선 보고서 생성이 가능합니다.
• 표현형 분류 및 5년 질병 예측을 수행합니다.
• 커뮤니티 사용을 위한 공개 복부 CT 데이터셋을 포함합니다.
• 분할 작업을 위해 nnU-Net 프레임워크와 통합됩니다.