prov-gigapath/prov-gigapath

何を解決するか

Prov-GigaPathは、デジタル病理学における全体スライド画像（WSI）の分析という課題に対処します。これらの画像は通常、標準的なAIモデルが単一の入力として処理できるほど大きく、局所的な組織パターンとスライド全体のコンテキストの両方から意味のある特徴を抽出する方法が必要です。

動作方法

このシステムは2段階のエンコーディングアーキテクチャを使用しています：

1. タイルエンコーダ：スライドの個々の画像パッチ（タイル）から局所的なパターンと特徴を抽出します。
2. スライドエンコーダ：タイルエンコーダからの埋め込みとその空間座標を入力として、スライド全体の包括的な表現を生成します。

効率を向上させるために、本プロジェクトはGigaPath-Flashを提供しています。これはLongNetバックボーンとDINOv2-smallタイルエンコーダを使用し、メモリ使用量を削減し、推論速度を向上させます。

対象ユーザー

病理学の基礎モデル、デジタル病理学、全体スライド画像データのエンコーディングに取り組むAI研究者向けに設計されています。

主な特徴

• 基礎モデル：現実世界のデジタル病理学データで訓練された大規模モデル。
• 2段階アーキテクチャ：局所的なパッチレベルの特徴抽出と、グローバルなスライドレベルの集約を分離。
• 効率的なバリアント：高速推論と低メモリ要件を実現する「Flash」バージョンを含む。
• 研究用に最適化：PCamやPANDAなどのデータセットの事前抽出埋め込みを提供し、ファインチューニング実験を容易にします。