jitsi/jiwer

Evaluate your speech-to-text system with similarity measures such as word error rate (WER)

What it solves

它提供了一种快速且简单的方式,通过将预测文本(hypothesis)与标准答案(ground-truth reference)进行比较,来评估自动语音识别 (ASR) 系统 的准确性。

How it works

该库计算参考句子与假设句子之间的最小编辑距离。它使用 RapidFuzz(一个基于 C++ 的实现)来确保高性能,避免了纯 Python 实现的缓慢。

Who it’s for

对于从事语音转文本模型开发与研究,且需要使用标准行业指标来衡量转录准确性的开发者和研究人员。

Who it’s for

对于从事语音转文本模型开发与研究,且需要使用标准行业指标来衡量转录准确性的开发者和研究人员。

Highlights

  • 支持多种评估指标:Word Error Rate (WER)、Match Error Rate (MER)、Word Information Lost (WIL)、Word Information Preserved (WIP) 以及 Character Error Rate (CER)。
  • 通过 RapidFuzz 在底层使用 C++ 进行速度优化。
  • 处理空参考字符串,以允许对静音音频中的模型幻觉进行测试。