prov-gigapath/prov-gigapath

해결하는 문제

Prov-GigaPath는 디지털 병리학에서 전체 슬라이드 이미지(WSI)를 분석하는 문제를 해결합니다. 이러한 이미지는 일반적으로 표준 AI 모델이 단일 입력으로 처리할 수 있을 만큼 크기가 커서, 국소적인 조직 패턴과 전체 슬라이드 수준의 맥락에서 의미 있는 특징을 추출할 수 있는 방법이 필요합니다.

작동 방식

이 시스템은 두 단계 인코딩 아키텍처를 사용합니다:

1. 타일 인코더: 슬라이드의 개별 이미지 조각(타일)에서 국소적 패턴과 특징을 추출합니다.
2. 슬라이드 인코더: 타일 인코더에서 생성한 임베딩과 그 공간 좌표를 입력으로 받아 전체 슬라이드에 대한 포괄적인 표현을 생성합니다.

효율성을 높이기 위해, 본 프로젝트는 GigaPath-Flash를 제공합니다. 이는 LongNet 백본과 DINOv2-small 타일 인코더를 사용하여 메모리 사용량을 줄이고 추론 속도를 높입니다.

대상 사용자

병리학 기초 모델, 디지털 병리학, 전체 슬라이드 이미지 데이터 인코딩에 종사하는 AI 연구자들을 위한 것입니다.

주요 특징

• 기초 모델: 실제 디지털 병리학 데이터로 훈련된 대규모 모델입니다.
• 이중 계층 아키텍처: 국소적인 패치 수준의 특징 추출과 전역적인 슬라이드 수준의 집계를 분리합니다.
• 효율성 최적화 버전: 더 빠른 추론과 낮은 메모리 요구 사항을 제공하는 "Flash" 버전 포함.
• 연구용 준비 완료: PCam 및 PANDA와 같은 데이터셋의 사전 추출 임베딩을 제공하여 파인튜닝 실험을 용이하게 합니다.