rafaelpadilla/Object-Detection-Metrics

何を解決するか

このプロジェクトは、物体検出のための評価指標の整合性の欠如と、一貫した指標の実装の難しさに対処しています。研究者は、主要なコンペティション以外のデータセットを使用する際、しばしば独自に指標を実装しなければならず、その結果、偏ったまたは誤った結果が生じる可能性があります。このツールキットは、主要なコンペティション（PASCAL VOCやCOCOなど）で使われる指標を柔軟かつ標準化された形で実装し、さまざまなアプローチやデータセット間での信頼性の高いベンチマークを確保します。

仕組み

このツールキットは、検出モデルの出力を複雑なXMLやJSON形式に変換する必要なく、主要なコンペティションで使われる指標を簡単に使える関数を提供します。真の境界ボックスと検出された境界ボックスの入力プロセスを簡素化し、以下の主要なパフォーマンス指標を計算します：

• 交差領域率（IOU）： 予測された境界ボックスと真の境界ボックスの重なりを測定し、検出が真陽性（TP）か偽陽性（FP）かを判断します。
• 精度（Precision）と再現率（Recall）： モデルが関連するオブジェクトのみを識別できる能力と、すべての関連するケースを発見できる能力をそれぞれ計算します。
• 精度×再現率曲線： 信頼度閾値が変化する際のパフォーマンスをプロットします。
• 平均精度（AP）： 11点補間またはすべての点補間のいずれかを使って、精度×再現率曲線の下側面積を計算します。

対象ユーザー

物体検出アルゴリズムの研究者や開発者で、さまざまなデータセット上でモデルの精度を信頼できる方法で評価したい方を対象としています。

特徴

• コンペティション標準の指標： PASCAL VOC、COCO、Google Open Imagesで使われる指標を実装しています。
• 入力の簡素化： XMLやJSONなどの複雑なフォーマット変換の必要がありません。
• 検証済みの正確性： 公式コンペティションコードと比較され、同一の結果を出力することを確認しています。
• 柔軟な補間方法： 平均精度に対して、11点補間とすべての点補間の両方をサポートしています。