Picovoice/speech-to-text-benchmark

解決する課題

このプロジェクトは、様々な音声認識 (STT) エンジンの性能を評価するための標準化された拡張可能なフレームワークを提供します。精度、計算効率、レイテンシを測定するための一貫したデータセットと指標を提供することで、異なるモデルやクラウドサービスを比較する際の困難さを解消します。

仕組み

このフレームワークは、オープンソースの音声データセット（LibriSpeech、Common Voice、TED-LIUM など）のコレクションを使用して、クラウドベースのサービス（AWS、Azure、Google、IBM）やローカルモデル（Whisper、Vosk、Moonshine、Nemotron、Picovoice）を含む幅広い STT エンジンをテストします。特定の指標に基づいて性能を計算し、これらのベンチマークをローカルで実行するためのスクリプトを提供します。

対象ユーザー

このツールは、アプリケーション用の STT エンジンを選択する必要があり、精度、速度、リソース使用量について客観的でデータに基づいた比較を必要とする開発者、研究者、エンジニア向けに設計されています。

主な特徴

• 包括的な指標: 単語誤り率 (WER)、文字誤り率 (CER)、句読点誤り率 (PER)、計算効率 (Core-Hour)、ストリーミングレイテンシを評価します。
• 多様なエンジンサポート: クラウドベースの API とローカルのセルフホストモデルの両方をベンチマークします。
• 拡張可能なフレームワーク: 多言語および様々な標準音声データセットをサポートしています。
• ストリーミングおよびバッチサポート: リアルタイムストリーミングエンジンとバッチ処理の両方に対する特定のテストプロトコルが含まれています。