MatthewCYM/VoiceBench

VoiceBench – LLMベースの音声アシスタント用ベンチマーク

何であるか – VoiceBench は、大規模言語モデル（LLM）が音声アシスタントとして機能する際の性能を評価できる研究用ベンチマークです。音声駆動型の質問応答および指示追従タスクのコレクション、Hugging Face データセット、およびモデルを実行し、音声応答を収集して自動的にスコアリングする（一部のサブセットでは GPT-4o-mini を使用）小さなコマンドラインツールキットを提供しています。

なぜ重要か – LLM が音声機能（音声認識、音声合成、エンドツーエンドの音声言語モデル）を備えるようになる中で、それらを比較する標準的な方法がありません。VoiceBench は以下の点でそのギャップを埋めます：

開放型 QA、複数選択型 QA、推論、安全性、指示追従をカバーする複数のテストセット。
合成音声（Google TTS）と人間が録音した音声の両方を提供し、モデルがクリーンな TTS とノイズのあるリアルな音声の両方をどう処理するかを確認できます。
研究者が GitHub のイシューを通じて結果を提出できる公開リーダーボード。

導入方法

環境の作成（Python 3.10、PyTorch 2.1.2 と CUDA 12.1、xformers）。

conda create -n voicebench python=3.10
conda activate voicebench
pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 \
    --index-url https://download.pytorch.org/whl/cu121
pip install xformers==0.0.23 --no-deps
pip install -r requirements.txt

データの読み込み – ベンチマークは Hugging Face 上にあります。
```
from datasets import load_dataset
ds = load_dataset("hlt-lab/voicebench", "alpacaeval")
```
サブセットには alpacaeval、commoneval、wildvoice、openbookqa、bbh、advbench などがあります。
モデルの実行 – 提供された main.py はモデルの応答を JSONL 形式で生成します。
```
python main.py --model naive --data alpacaeval --split test --modality audio
```
naive をテストしたい任意のモデル（例：qwen2、diva）に置き換えてください。
自動スコアリング – 開放型 QA セットではスクリプトが gpt-4o-mini API を呼び出します。
```
python api_judge.py --src_file naive-alpacaeval-test-audio.jsonl
```
結果の集計 – 最後にベンチマークの数値を計算します。
```
python evaluate.py --src_file result-naive-alpacaeval-test-audio.jsonl --evaluator open
```
--evaluator フラグで適切なメトリクス（開放型、MCQ、安全性など）を選択できます。

データセットのスナップショット

サブセット	サンプル数	音声ソース	タスク
alpacaeval	199	Google TTS	開放型 QA
alpacaeval_full	636	Google TTS	開放型 QA
commoneval	200	人間	開放型 QA
wildvoice	1 000	人間	開放型 QA
openbookqa	455	Google TTS	複数選択型 QA
mmsu	3 074	Google TTS	複数選択型 QA
sd-qa	553	人間	参照ベース QA
mtbench	46	Google TTS	マルチターン QA
ifeval	345	Google TTS	指示追従
bbh	1 000	人間	推論
advbench	520	Google TTS	安全性

リーダーボードとコミュニティ – 結果は公開ページ（https://matthewcym.github.io/VoiceBench/）に表示されます。新しい提出はリポジトリのイシュートラッカーを通じて奨励されており、リーダーボードは自動的に更新されます。

関連リソース – README には「Awesome Voice Assistants」というリストも含まれており、最近の論文やコードベース（例：MiniCPM-o 4.5、Qwen 3.5-Omni、VoxMind）へのリンクが集約されています。これにより、VoiceBench は音声対応 LLM の急速な進展を追跡するための便利なハブとなります。

引用 – VoiceBench を論文で使用する場合、付随する arXiv プリプリント（arXiv:2410.17196）を引用してください。

上記のすべての詳細はリポジトリの README から直接取得されています。追加の機能は推測されていません。