MatthewCYM/VoiceBench

何を解決するか

VoiceBench は、LLMベースの音声アシスタントのパフォーマンスを評価するための標準化されたフレームワークとデータセットを提供します。オープンエンドQA、推論、指示従属などの異なるタスクにおける一貫性のない評価指標の欠如に対処しています。

動作方法

このプロジェクトは、Hugging Face 上にホストされた包括的なデータセットと評価パイプラインから構成されています。パイプラインは3段階で動作します：

1. 応答生成：音声またはテキストモダリティを使用して、音声アシスタントモデル（例：Qwen2、Diva）に応答を生成させるプロンプトを送信します。
2. 自動評価：特定のサブセット（例：alpacaeval、wildvoice）に対して、gpt-4o-mini を自動ジャッジとして使用して応答をスコア付けします。
3. 最終スコア計算：専用の評価スクリプトが、評価者タイプ（例：mcq は複数選択、bbh は推論、harm は安全性）に基づいて最終スコアを計算します。

対象ユーザー

このツールは、Large Audio Language Models (LALMs) や音声アシスタントを開発・構築する研究者や開発者向けに設計されており、モデルの能力を測定し、他の最先端モデルのリーダーボードと比較する必要がある方々に適しています。

特徴

• 多様なデータセット：オープンエンドQA、複数選択QA、推論、安全性、指示従属をカバーする複数のサブセットを含む。
• 人間が録音した音声：wildvoice や bbh など、多様なアクセントを持つ人間が録音したクラウドソーシングデータセットを備える。
• 自動ジャッジ：オープンエンド応答に対してGPT-4ベースの評価を統合。
• 広範なカバー範囲：mmlu-pro からのものも含め、12の多様なドメインをテスト。