jitsi/jiwer

Evaluate your speech-to-text system with similarity measures such as word error rate (WER)

What it solves

예측 텍스트(hypothesis)와 정답(ground-truth reference)을 비교하여 자동 음성 인식(ASR) 시스템의 정확도를 평가하는 빠르고 간단한 방법을 제공합니다.

How it works

이 라이브러리는 참조 문장과 가설 문장 사이의 최소 편집 거리를 계산합니다. 순수 Python 구현의 느린 속도를 피하기 위해 RapidFuzz(C++ 기반 구현)를 사용하여 높은 성능을ประสิทธิภาพ를 보장합니다.

Who it’s for

표준 산업 지표를 사용하여 전사 정확도를 측정해야 하는 음성-텍스트 변환 모델 개발자 및 연구자입니다.

Highlights

  • 다양한 평가 지표를 지원합니다: Word Error Rate (WER), Match Error Rate (MER), Word Information Lost (WIL), Word Information Preserved (WIP), 및 Character Error Rate (CER).
  • RapidFuzz를 통해 백엔드에서 C++를 사용하여 속도를 최적화했습니다.
  • 빈 참조 문자열을 처리하여 무음 오디오에서의 모델 환각 현상을 테스트할 수 있습니다.