rafaelpadilla/Object-Detection-Metrics

해결하는 문제

이 프로젝트는 객체 탐지에 대한 평가 지표의 일관성 부족과 일관된 지표 구현의 어려움을 해결합니다. 연구자들은 주요 대회 외의 데이터셋을 사용할 때 종종 자체적으로 지표를 구현해야 하며, 이는 편향되거나 잘못된 결과를 초래할 수 있습니다. 이 툴킷은 주요 대회(PASCAL VOC, COCO 등)에서 사용되는 지표를 유연하고 표준화된 방식으로 구현하여 다양한 접근법과 데이터셋 간 신뢰할 수 있는 벤치마킹을 보장합니다.

작동 방식

이 툴킷은 검출 모델의 출력을 복잡한 XML 또는 JSON 형식으로 변환할 필요 없이 주요 대회에서 사용되는 지표를 쉽게 사용할 수 있는 함수를 제공합니다. 진짜 경계 상자와 탐지된 경계 상자의 입력 프로세스를 단순화하고, 다음과 같은 주요 성능 지표를 계산합니다:

• 교차 영역 비율 (IOU): 예측된 경계 상자와 진짜 경계 상자의 겹침을 측정하여 탐지가 참 긍정(TP)인지 거짓 긍정(FP)인지 판단합니다.
• 정밀도와 재현율: 모델이 관련 객체만 식별할 수 있는 능력과 모든 관련 사례를 찾아낼 수 있는 능력을 각각 계산합니다.
• 정밀도 × 재현율 곡선: 신뢰도 임계값이 변화할 때의 성능을 그래프로 표시합니다.
• 평균 정밀도 (AP): 11점 보간 또는 모든 점 보간을 사용하여 정밀도 × 재현율 곡선 아래 면적을 계산합니다.

대상 사용자

다양한 데이터셋에서 모델의 정확도를 신뢰할 수 있는 방법으로 평가해야 하는 객체 탐지 알고리즘 개발자 및 연구자를 대상으로 합니다.

주요 특징

• 대회 기준 지표: PASCAL VOC, COCO, Google Open Images에서 사용되는 지표를 구현합니다.
• 간편한 입력: XML 또는 JSON과 같은 복잡한 입력 형식 변환의 필요성이 없습니다.
• 검증된 정확성: 공식 대회 코드와 비교하여 동일한 결과를 보장합니다.
• 유연한 보간 방식: 평균 정밀도에 대해 11점 보간과 모든 점 보간 방식을 모두 지원합니다.