Hugging Face 객체 감지 리더보드

허깅 페이스는 COCO 스타일 메트릭스를 사용해 오픈소스 모델을 순위 매기는 객체 감지 리더보드를 출시하고, 평균 정밀도와 평균 재현율이 어떻게 계산되는지 및 결과에 영향을 줄 수 있는 요인을 설명하는 블로그를 게시했습니다.

소개

이 블로그는 객체 감지 모델의 평가 과정을 설명하며, 리더보드에서 사용되는 메트릭스를 상세히 다루고 결과가 다를 수 있는 함점에 대해 설명합니다.

객체 감지는 이미지 내의 개별 객체를 식별하고 위치를 파악하며, 각 detection에 대해 클래스 라벨, 경계 상자, 신뢰도 점수를 제공합니다.

평균 정밀도(AP)는 정밀도-재현율 곡선을 요약하며, 평균 재현율(AR)은 IoU 임계값 전반에 걸친 재현에 초점을 맞춥니다.

AP는 특정 클래스에 대한 정밀도-재현율 곡선 아래의 면적이며, Precision = TP/(TP+FP)이고 Recall = TP/(TP+FN)이며, 여기서 TP/FP/FN은 IoU 임계값에 따라 달라집니다.

AR은 0.5에서 0.95 사이의 IoU 임계값에서 얻은 최대 재현의 평균이며, 선택적으로 detection 수 또는 객체 크기로 제한될 수 있습니다.

변형에는 AP@.5, AP@.75, AP@[.5:.05:.95] (mAP), 소형/중형/대형 객체를 위한 AP‑S/M/L, 그리고 재현 중심 평가를 위한 AR‑1/AR‑10/AR‑100 및 AR‑S/M/L이 포함됩니다.

리더보드는 COCO val 2017에서 12개의 COCO 스타일 메트릭스를 사용해 모델을 순위 매기며, 정확도는 PyCOCOtools로 측정되고 효율성은 batch size = 1일 때의 초당 프레임 수(fps)로 측정됩니다.

전체 성능을 위해서는 AP를, 관대한 лока리제이션을 위해서는 AP@.5를, 엄격한 лока리제이션을 위해서는 AP@.75를, 크기별 작업을 위해서는 AP‑S/M/L을, 재현이 우선순위일 때는 AR 변형을 선택하세요.

AP를 변경할 수 있는 요인에는 신뢰도 점수 임계값, batch size > 1, 로짓이 변경된 포팅된 모델, iscrowd와 같은 무시된 ground‑truth 태그, IoU 계산 세부 사항, 그리고 텍스트 조건 모델의 프롬프트 품질이 포함됩니다.

객체 감지 평가는 모델의 구체적인 특성, 데이터셋 특징, 메트릭스 선택을 신중히 고려해야 하며, 리더보드는 커뮤니티에서 승인된 COCO 평가 코드를 사용한 표준화된 비교를 제공합니다.