rafaelpadilla/Object-Detection-Metrics

Most popular metrics used to evaluate object detection algorithms.

解決的問題

本專案解決了物件檢測評估指標缺乏共識以及實現一致指標的困難。研究人員在使用主要競賽以外的資料集時,經常需要自行實作指標,這可能導致偏頗或錯誤的結果。此工具包提供彈性且標準化的流行指標實作,確保在不同方法與資料集之間具備可信任的基準測試。

如何運作

該工具包提供簡單易用的函數,實作主要競賽(如 PASCAL VOC 和 COCO)所使用的指標,無需使用者將檢測模型的輸出轉換為複雜的 XML 或 JSON 格式。它簡化了真實邊界框與檢測邊界框的輸入流程,並計算以下關鍵性能指標:

  • 交集-over-併集(IOU): 衡量預測邊界框與真實邊界框之間的重疊程度,以判斷檢測結果是真正例(TP)或假正例(FP)。
  • 精確率與召回率: 分別計算模型識別相關物件的能力以及找出所有相關案例的能力。
  • 精確率 × 召回率曲線: 畫出信賴度閾值變動時的性能表現。
  • 平均精確率(AP): 使用 11 點插值或所有點插值方法計算精確率 × 召回率曲線下的面積。

適用對象

專為需要在各種資料集上可靠評估模型準確性的物件檢測演算法研究人員與開發者設計。

主要亮點

  • 競賽標準指標: 實作 PASCAL VOC、COCO 與 Google Open Images 使用的指標。
  • 簡化輸入: 無需進行複雜的輸入格式轉換(如 XML 或 JSON)。
  • 驗證的準確性: 實作結果已與官方競賽程式碼比對,確保完全一致。
  • 彈性插值: 支援平均精確率的 11 點插值與所有點插值兩種方法。

相關

  • Dispatch
  • 專案
  • 專案
  • 專案
  • 專案