MatthewCYM/VoiceBench

VoiceBench – LLM 기반 음성 어시스턴트를 위한 벤치마크

무엇인가요 – VoiceBench는 대규모 언어 모델(LLM)이 음성 어시스턴트로 사용될 때의 성능을 평가할 수 있는 연구 수준의 벤치마크입니다. 음성 기반 질의응답 및 지시 수행 작업의 컬렉션, Hugging Face 데이터셋, 그리고 모델을 실행하고 음성 응답을 수집하며 자동으로 점수를 매기는(일부 하위 집합은 GPT-4o-mini를 사용) 소규모 명령줄 툴킷을 제공합니다.

왜 중요한가요 – LLM이 음성 기능(음성-텍스트, 텍스트-음성, 종단 간 음성-언어 모델)을 갖게 되면서, 이를 비교할 표준적인 방법이 없습니다. VoiceBench는 다음을 통해 이 격차를 메웁니다:

개방형 QA, 다중 선택형 QA, 추론, 안전성, 지시 수행을 포함하는 여러 테스트 세트.
합성(구글 TTS)과 인간이 녹음한 음성 소스를 모두 제공하여, 모델이 깨끗한 TTS와 노이즈가 있는 실제 음성 모두를 어떻게 처리하는지 확인할 수 있습니다.
연구자들이 GitHub 이슈를 통해 결과를 제출할 수 있는 공개 리더보드.

시작하기

환경 생성 (Python 3.10, PyTorch 2.1.2 + CUDA 12.1, xformers).

conda create -n voicebench python=3.10
conda activate voicebench
pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 \
    --index-url https://download.pytorch.org/whl/cu121
pip install xformers==0.0.23 --no-deps
pip install -r requirements.txt

데이터 로드 – 벤치마크는 Hugging Face에 있습니다.
```
from datasets import load_dataset
ds = load_dataset("hlt-lab/voicebench", "alpacaeval")
```
하위 세트에는 alpacaeval, commoneval, wildvoice, openbookqa, bbh, advbench 등이 있습니다.
모델 실행 – 제공된 main.py는 모델 응답을 JSONL 형식으로 생성합니다.
```
python main.py --model naive --data alpacaeval --split test --modality audio
```
naive를 테스트하고자 하는 모델(예: qwen2, diva)로 바꾸세요.
자동 평가 – 개방형 QA 세트의 경우 스크립트는 gpt-4o-mini API를 호출합니다.
```
python api_judge.py --src_file naive-alpacaeval-test-audio.jsonl
```
결과 집계 – 마지막으로 벤치마크 수치를 계산합니다.
```
python evaluate.py --src_file result-naive-alpacaeval-test-audio.jsonl --evaluator open
```
--evaluator 플래그는 적절한 메트릭(개방형, MCQ, 안전성 등)을 선택합니다.

데이터셋 스냅샷

하위 세트	샘플 수	음성 소스	작업
alpacaeval	199	구글 TTS	개방형 QA
alpacaeval_full	636	구글 TTS	개방형 QA
commoneval	200	인간	개방형 QA
wildvoice	1 000	인간	개방형 QA
openbookqa	455	구글 TTS	다중 선택형 QA
mmsu	3 074	구글 TTS	다중 선택형 QA
sd-qa	553	인간	참조 기반 QA
mtbench	46	구글 TTS	다단계 QA
ifeval	345	구글 TTS	지시 수행
bbh	1 000	인간	추론
advbench	520	구글 TTS	안전성

리더보드 및 커뮤니티 – 결과는 공개 페이지(https://matthewcym.github.io/VoiceBench/)에 표시됩니다. 새로운 제출은 리포지토리의 이슈 트래커를 통해 장려되며, 리더보드는 자동으로 업데이트됩니다.

관련 자원 – README에는 최근 논문과 코드베이스(예: MiniCPM-o 4.5, Qwen 3.5-Omni, VoxMind)를 링크하는 "Awesome Voice Assistants" 목록도 포함되어 있습니다. 이는 음성 기능을 갖춘 LLM의 급속한 발전을 추적하는 데 유용한 핵심 자료입니다.

인용 – VoiceBench를 논문에서 사용할 경우, 관련 arXiv 프리프린트(arXiv:2410.17196)를 인용하세요.

위 모든 세부 정보는 리포지토리의 README에서 직접 가져왔으며, 추가 기능은 추측되지 않았습니다.