Picovoice/speech-to-text-benchmark

解决的问题

该项目提供了一个标准化、可扩展的框架，用于评估各种语音转文字 (STT) 引擎的性能。它通过提供一套一致的数据集和指标来衡量准确性、计算效率和延迟，从而解决了比较不同模型和云服务时的困难。

工作原理

该框架使用一系列开源语音数据集（如 LibriSpeech、Common Voice 和 TED-LIUM）来测试广泛的 STT 引擎，包括云端服务（AWS、Azure、Google、IBM）和本地模型（Whisper、Vosk、Moonshine、Nemotron 和 Picovoice）。它根据特定指标计算性能，并提供在本地运行这些基准测试的脚本。

适用人群

该工具专为需要为其应用程序选择 STT 引擎，并需要对准确性、速度和资源使用情况进行客观、数据驱动比较的开发人员、研究人员和工程师而设计。

主要亮点

• 综合指标：评估词错误率 (WER)、字符错误率 (CER)、标点错误率 (PER)、计算效率 (Core-Hour) 和流式延迟。
• 多样的引擎支持：基准测试涵盖云端 API 和本地自托管模型。
• 可扩展框架：支持多种语言和各种标准语音数据集。
• 流式与批处理支持：包含针对实时流式引擎和批处理的特定测试协议。