MrGiovanni/ModelsGenesis

해결하는 문제

Models Genesis는 세그멘테이션 및 분류를 위한 고성능 딥러닝 모델을 훈련하기 위해 일반적으로 필요로 하는 수동으로 레이블링된 3D 의료 영상(예: CT 및 MRI 스캔)의 부족 문제를 해결합니다.

작동 방식

자기지도 학습 프레임워크를 사용하여 레이블이 없는 데이터 위에서 3D 모델을 사전 훈련합니다. 모델은 이미지 복원 대체 작업을 통해 기저 해부학을 학습하며, 의도적으로 왜곡된 볼륨을 재구성해야 합니다. 이러한 왜곡에는 다음이 포함됩니다:

• 비선형 강도 변환
• 국소 픽셀 셔플링
• 아웃페인팅 (Out-painting)
• 인페인팅 (In-painting)

사전 훈련이 완료된 후, 이러한 "일반적인 자율학습 모델"은 특정 의료 영상 분석 작업에 맞게 미세 조정할 수 있는 기반으로 사용됩니다.

대상 사용자

라벨링된 데이터셋이 제한적인 의료 영상 연구자 및 임상의.

주요 특징

• 자기지도 학습: 수동 레이블 없이 시각적 표현을 학습합니다.
• 3D 네이티브: 2D ImageNet 기반의 전이 학습에 의존하지 않고, 3D 볼륨 전용으로 설계되었습니다.
• 검증된 성능: nnU-Net과 결합했을 때 Medical Segmentation Decathlon에서 간/종양 및 히포카ampus 세그멘테이션에서 최상위 순위를 기록했습니다.
• 유연한 구현: PyTorch 및 Keras 모두에서 제공됩니다.