Hugging Face オブジェクト検出 リーダーボード

Hugging Face は、COCO スタイルのメトリクスを使用してオープンソース モデルをランク付けする Object Detection Leaderboard をリリースし、Average Precision と Average Recall の計算方法および結果に影響を与える要因を説明するブログを公開しました。

はじめに

このブログでは、オブジェクト検出モデルの評価プロセスを説明し、リーダーボードで使用されるメトリクスと、結果が乖離する原因となる落とし穴について詳しく述べています。

オブジェクト検出とは

オブジェクト検出は、画像内の個々のオブジェクトを識別し、位置を特定し、各検出に対してクラスラベル、境界ボックス、信頼スコアを提供します。

メトリクス

Average Precision (AP)は Precision‑Recall 曲線を要約し、Average Recall (AR)は IoU しきい値全体でのリコールに焦点を当てます。

Average Precision とは何か、そしてどのように計算するか？

AP はクラスごとの Precision‑Recall 曲線の下の面積であり、Precision = TP/(TP+FP)、Recall = TP/(TP+FN) です。ここで TP、FP、FN は IoU しきい値に依存します。

Average Recall とは何か、そしてどのように計算するか？

AR は、IoU しきい値 0.5 から 0.95 の範囲で得られる最大リコールの平均であり、オプションで検出数またはオブジェクトのサイズによって制限されることがあります。

Average Precision と Average Recall のバリアントとは？

バリアントには、AP@.5、AP@.75、AP@[.5:.05:.95]（mAP）、小/中/大オブジェクト向けの AP‑S/M/L、そしてリコール重視の評価のための AR‑1/AR‑10/AR‑100 および AR‑S/M/L が含まれます。

オブジェクト検出 リーダーボード

リーダーボードは、COCO val 2017 上の 12 個の COCO スタイルのメトリクスを使用してモデルをランク付けし、精度は PyCOCOtools で測定し、効率はバッチサイズ = 1 のフレーム毎秒で測定されます。

メトリクスに基づいて最適なモデルを選ぶには？

全体的なパフォーマンスには AP を、寛容な局所化には AP@.5 を、厳格な局所化には AP@.75 を、サイズ特化タスクには AP‑S/M/L を、リコールが優先される場合は AR バリアントを選択してください。

どのパラメータが Average Precision の結果に影響を与えるか？

AP を変える要因には、信頼スコアのしきい値、バッチサイズ > 1、ロジットが変更されたポート済みモデル、iscrowd のような無視されたグランドトゥルース タグ、IoU 計算の詳細、およびテキスト条件付きモデルのプロンプトの品質が含まれます。

結論

オブジェクト検出の評価には、モデルの詳細、データセットの特性、およびメトリクスの選択を慎重に考慮する必要があります。リーダーボードは、コミュニティが受け入れた COCO 評価コードを使用した標準化された比較を提供します。

追加リソース

• オブジェクト検出ガイド
• オブジェクト検出タスク
• Paper: 効果的な検出提案とは何か
• Paper: オープンソース ツールキットを伴うオブジェクト検出メトリクスの比較分析
• Paper: オブジェクト検出アルゴリズムのパフォーマンス メトリクスに関する調査