MatthewCYM/VoiceBench

VoiceBench – 基于大语言模型的语音助手评测基准

是什么 – VoiceBench 是一个研究级的评测基准，用于评估大型语言模型（LLM）作为语音助手时的表现。它提供了一系列音频驱动的问答和指令遵循任务、一个 Hugging Face 数据集，以及一个小型命令行工具包，可运行模型、收集其语音响应，并自动评分（部分子集使用 GPT-4o-mini）。

为何重要 – 随着 LLM 获得音频能力（语音识别、文本转语音、端到端语音-语言模型），目前尚无统一的比较标准。VoiceBench 通过以下方式填补这一空白：

• 多个测试套件，涵盖开放问答、多选问答、推理、安全性和指令遵循。
• 同时提供合成音频（Google TTS）和真人录音，可观察模型在干净 TTS 与嘈杂真实语音下的表现差异。
• 公开排行榜，研究人员可通过 GitHub 问题提交结果。

快速上手

1. 创建环境（Python 3.10，PyTorch 2.1.2 + CUDA 12.1，xformers）。

   conda create -n voicebench python=3.10
   conda activate voicebench
   pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 \
       --index-url https://download.pytorch.org/whl/cu121
   pip install xformers==0.0.23 --no-deps
   pip install -r requirements.txt
   

2. 加载数据 – 评测基准托管在 Hugging Face 上。

   from datasets import load_dataset
   ds = load_dataset("hlt-lab/voicebench", "alpacaeval")
   

   子集包括 alpacaeval、commoneval、wildvoice、openbookqa、bbh、advbench 等。
3. 运行模型 – 提供的 main.py 生成模型响应的 JSONL 文件。

   python main.py --model naive --data alpacaeval --split test --modality audio
   

   将 naive 替换为任意你想测试的模型（如 qwen2、diva）。
4. 自动评分 – 对开放问答集，脚本调用 gpt-4o-mini API。

   python api_judge.py --src_file naive-alpacaeval-test-audio.jsonl
   

5. 聚合结果 – 最后计算基准得分。

   python evaluate.py --src_file result-naive-alpacaeval-test-audio.jsonl --evaluator open
   

   --evaluator 参数选择合适的评估指标（开放问答、多选题、安全性等）。

数据集快照

子集	样本数	音频来源	任务
alpacaeval	199	Google TTS	开放问答
alpacaeval_full	636	Google TTS	开放问答
commoneval	200	真人录制	开放问答
wildvoice	1 000	真人录制	开放问答
openbookqa	455	Google TTS	多选问答
mmsu	3 074	Google TTS	多选问答
sd-qa	553	真人录制	基于参考的问答
mtbench	46	Google TTS	多轮问答
ifeval	345	Google TTS	指令遵循
bbh	1 000	真人录制	推理
advbench	520	Google TTS	安全性

排行榜与社区 – 结果展示在公开页面（https://matthewcym.github.io/VoiceBench/）。新提交通过仓库的议题追踪器鼓励提交，排行榜会自动更新。

相关资源 – README 还整理了一份“Awesome Voice Assistants”列表，指向近期论文和代码库（如 MiniCPM-o 4.5、Qwen 3.5-Omni、VoxMind）。这使得 VoiceBench 成为追踪语音增强型 LLM 快速进展的实用枢纽。

引用 – 若在论文中使用 VoiceBench，请引用配套的 arXiv 预印本（arXiv:2410.17196）。

---

以上所有细节均直接来自仓库的 README；未推断任何额外功能。