Picovoice/speech-to-text-benchmark

What it solves

標準化されたミニマリストかつ拡張可能なフレームワークを提供し、様々な音声認識（STT）エンジンのパフォーマンスを比較できます。開発者は統一されたデータセットと指標を用いて、精度、速度、リソース消費に基づきモデルを評価できます。

How it works

フレームワークは選択した STT エンジンを複数の公開データセット（LibriSpeech、Common Voice、TED-LIUM など）に対して実行し、以下のパフォーマンス指標を算出します。

• Accuracy: Word Error Rate（WER）と Punctuation Error Rate（PER）で測定。
• Efficiency: 「Core‑Hour」（1 時間の音声を処理するのに必要な CPU 時間）とモデルサイズ（MB）で測定。
• Responsiveness: ストリーミングエンジンの Word Emission Latency で測定し、発話から文字起こしまでの遅延を追跡。

バッチモードとストリーミングモードの両方をサポートし、英語、フランス語、ドイツ語、スペイン語、イタリア語、ポルトガル語など複数言語に対応しています。

Who it’s for

精度、レイテンシ、計算コストのトレードオフに基づき、特定のアプリケーションに最適な音声認識エンジンを選択したい開発者や研究者向けです。

Highlights

• Broad Engine Support: OpenAI Whisper、Google、Amazon、Azure、IBM Watson、Vosk、Moonshine、Picovoice など多数のプロバイダーをベンチマーク。
• Multi-Metric Evaluation: 単なる精度だけでなく、句読点エラー、CPU 効率、リアルタイムレイテンシも評価。
• Diverse Datasets: 業界標準のデータセットを多数統合し、堅牢なテストを実現。
• Extensible Design: 新しいエンジンやデータセットを追加できるフレームワークとして設計。