lartpang/PySODEvalToolkit

무엇을 해결하는가

이미지 세그멘테이션 모델의 성능을 평가하기 위한 표준화된 방법을 제공하며, 특히 그레이스케일 및 이진 세그멘테이션 작업에 특화되어 있습니다. 연구자들이 여러 데이터셋에 걸쳐 다양한 방법을 비교하기 위해 복잡한 평가 지표를 수동으로 구현하거나 커스텀 플로팅 스크립트를 만들 필요를 없애줍니다.

작동 방식

이 툴킷은 JSON 설정 파일을 사용하여 공유된 파일 이름 패턴을 기반으로 데이터셋의 ground truth를 모델 예측값과 매핑합니다. 그런 다음 PySODMetrics 라이브러리를 사용하여 광범위한 지표를 계산하고 이러한 결과를 다양한 형식으로 내보낼 수 있습니다. 사용자는 평가 스크립트를 실행하여 지표 데이터를 생성하고, 별도의 플로팅 스크립트를 실행하여 PR, F-measure, E-measure 곡선을 통해 성능을 시각화할 수 있습니다.

대상 사용자

Saliency Object Detection (SOD), Camouflaged Object Detection (COD) 및 일반적인 이진 이미지 세그멘테이션 작업을 수행하는 컴퓨터 비전 연구자 및 개발자.

주요 특징

• 포괄적인 지표: 그레이스케일 이미지(MAE, E-measure, S-measure, Weighted F-measure 등) 및 이진 이미지(IoU, Dice, Precision, Recall)를 위한 방대한 범위의 지표를 지원합니다.
• 유연한 내보내기: 결과를 TXT, XLSX 또는 학술 논문을 위한 LaTeX 테이블 코드로 직접 내보낼 수 있습니다.
• 자동화된 시각화: 사용자 정의 가능한 스타일로 전문가 수준의 성능 곡선(PR, F-measure, E-measure)을 그리는 내장 도구를 포함합니다.
• 효율적인 처리: 대규모 데이터셋에 대한 지표 계산 속도를 높이기 위해 멀티스레딩을 사용하는 동시성 전략을 구현합니다.