lartpang/SAMs-CDConcepts-Eval

何を解決するか

このプロジェクトは、Segment Anything Models (SAM および SAM 2) が「文脈依存型」(CD) の概念をどの程度うまく扱えるかをテストするための、包括的な評価フレームワークを提供します。これらのモデルは、車や人などの一般的なオブジェクトのセグメンテーションには優れていますが、医療用の病変、工業製品の欠陥、またはカモフラージュされた物体など、周囲の文脈に依存する概念には苦戦することがよくあります。

仕組み

このフレームワークは、2D および 3D の画像とビデオを使用して、11 種類の異なる CD 概念にわたって SAM と SAM 2 を評価します。モデルの識別能力をテストするために、手動、自動、および中間的なセルフプロンプティングという 3 つのプロンプティング戦略を採用しています。さらに、プロンプトが不完全である可能性のある現実世界のシナリオをシミュレートするために、プロンプトの堅牢性テストも含まれています。

対象者

このツールは、画像およびビデオのセグメンテーションに取り組むコンピュータビジョン研究者や開発者、特に、医療や工業などの専門分野における基盤モデルの性能の限界を理解しようとしている方を対象としています。

ハイライト

• 自然、医療、および工業的なシーンにわたって SAM と SAM 2 の両方を評価します。
• 2D/3D の画像とビデオを含む、複数のモダリティをサポートしています。
• 手動、自動、および中間的なセルフプロンプティングのための統一されたフレームワークを実装しています。
• 現実世界の利用をシミュレートするために、不完全なプロンプトに対する堅牢性テストが含まれています。