wavlab-speech/versa

何を解決するか

VERSAは、音声およびオーディオの品質を評価するための統合ツールキットを提供します。数十種類のスコアリング手法を手動で実装したり統合したりするのではなく、研究者や開発者は1つのフレームワークで、音声品質の複数の次元にわたる90以上の評価およびプロファイリングメトリクスにアクセスできます。

仕組み

VERSAは、膨大な数のオーディオメトリクスを包括的にラッピングし、オーケストレーションする役割を果たします。これらのメトリクスは、参照が不要な独立型、予測値と参照値を比較する依存型、マッチしない型、および分布型（コレクションの統計的性質）の4つのカテゴリに分類されます。このツールキットは、ファイルパス、SCPファイル、Kaldi形式のARKなど、さまざまな入力形式をサポートしており、Slurmを用いたローカルマシンまたはクラスタ上で分散評価が可能です。また、Qwen2-Audioに基づくLLMインフォームドな知覚メトリクスと統合され、より洗練されたオーディオプロファイリングが可能になります。

対象ユーザー

音声およびオーディオ研究者、ニューラルコーデックの開発者、AI駆動のオーディオ生成または処理システムを構築している人で、パフォーマンスを標準化された方法で測定したい人向けです。

特徴

• 大規模なメトリクスライブラリ: 知覚品質、理解性、技術的測定をカバーする90以上のメトリクスにアクセス可能。
• スケーラブルなインフラ: Slurmを介した分散評価のための組み込みサポートと、中断されたスコアリング実行の再開機能。
• 柔軟な入出力: ESPnetなどの標準音声ツールキットと互換性があり、複数のオーディオ入力形式をサポート。
• LLM統合: 大規模言語モデルを活用した知覚メトリクスをサポートし、高度なオーディオ品質評価を実現。
• 発見ツール: タスクに応じて利用可能なメトリクスを一覧表示し、推奨される設定ファイルを生成するCLI（versa-score）を提供。