Joey-S-Liu/MedSAM3

何を解決するか

MedSAM3 は、境界ボックスやポイントなどの手動プロンプトの必要性を排除することで、医療画像のセグメンテーションを簡素化するように設計されています。代わりに、ユーザーは「皮膚病変」などの純粋なテキストガイド付き医療概念を使用して医療対象をセグメントできます。

動作方法

このプロジェクトは、SAM3 モデルに基づくパラメータ効率的なファインチューニング戦略を使用しています。LoRA（Low-Rank Adaptation）を活用して、330種類の独自医療概念にわたる658,000枚以上の画像と約290万件のインスタンスアノテーションを含む大規模で多様な医療データセットにベースモデルを適応させています。

対象ユーザー

放射線学（CT、MRI、PET、X線）、光学/顕微鏡画像、および動画ベースの手術（超音波、内視鏡、手術）など、さまざまなモダリティで動作する柔軟で堅牢なセグメンテーションツールを必要とする医療画像研究者や臨床医。

主な特徴

• テキストガイド付きセグメンテーション： 手動座標ではなく、医療概念に基づいて対象をセグメントします。
• 広範なモダリティ対応： 放射線学、顕微鏡、組織病理学、および外科動画をカバーします。
• 専用医療データセット： 658,094枚の画像と2,863,974件のアノテーションを含む大規模データセットで訓練されています。
• 効率的なチューニング： ベースの SAM3 モデルのパラメータ効率的な適応に LoRA を使用しています。