lartpang/PySODEvalToolkit

何を解決するか

それは、画像セグメンテーションモデル、特にグレースケールおよびバイナリセグメンテーションタスクの性能を評価するための標準化された方法を提供します。研究者が、複雑な評価指標を個別に実装したり、複数のデータセットにわたって異なる手法を比較するためのカスタムプロットスクリプトを作成したりする必要をなくします。

仕組み

このツールキットは、JSON設定ファイルを使用して、共有されたファイル名パターンに基づいてデータセットのグランドトゥルースをモデルの予測にマッピングします。次に、PySODMetricsライブラリを使用して幅広い指標を計算し、これらの結果をさまざまな形式でエクスポートできます。ユーザーは、評価スクリプトを実行して指標データを生成し、別のプロットスクリプトを実行して、PR、F-measure、およびE-measure曲線を通じて性能を可視化できます。

対象者

Saliency Object Detection (SOD)、Camouflaged Object Detection (COD)、および一般的なバイナリ画像セグメンテーションタスクに取り組むコンピュータビジョン研究者および開発者。

ハイライト

• 包括的な指標: グレースケール画像（MAE、E-measure、S-measure、Weighted F-measureなど）およびバイナリ画像（IoU、Dice、Precision、Recall）のための広範な指標をサポートしています。
• 柔軟なエクスポート: 結果は、TXT、XLSX、または学術論文用のLaTeXテーブルコードとして直接エクスポートできます。
• 自動化された可視化: カスタマイズ可能なスタイルで、プロフェッショナルグレードの性能曲線（PR、F-measure、E-measure）をプロットするための組み込みツールが含まれています。
• 効率的な処理: 大規模なデータセットにわたる指標の計算を高速化するために、マルチスレッドを使用した並行処理戦略を実装しています。