OpenBMB/UltraEval-Audio

해결하는 문제

UltraEval-Audio는 대규모 오디오 파운데이션 모델의 포괄적인 평가를 위한 통합 프레임워크를 제공합니다. 단일 시스템 내에서 음성 이해(Speech-to-Text)와 음성 생성(Speech-to-Speech) 모두를 평가하는 어려움을 해결하며, 데이터셋 수집과 지표 정렬이라는 번거로운 과정을 자동화합니다.

작동 방식

이 프레임워크는 음성, 사운드, 의학, 음악이라는 네 가지 도메인에 걸쳐 34개의 권위 있는 벤치마크를 집계하고, 10개 언어와 12개 작업 카테고리를 지원합니다. 벤치마크 데이터셋의 다운로드와 처리를 자동화하고, WER, BLEU, G-Eval과 같은 공식 평가 지표와 이를 연결합니다. 서로 다른 모델 간의 의존성 충돌을 방지하기 위해, 모델별 환경을 자동으로 관리하고 프로세스 간 통신(IPC)을 통해 메인 프로세스와 상호작용하는 격리된 추론 메커니즘을 사용합니다.

대상 사용자

오디오 파운데이션 모델로 작업하는 연구자와 개발자를 위해 설계되었으며, 특히 텍스트-음성 변환(TTS), 자동 음성 인식(ASR), 오디오 코덱을 구축하거나 테스트하는 사람들을 대상으로 합니다.

주요 특징

• 통합 평가: 단일 프레임워크에서 음성 이해와 생성을 모두 지원합니다.
• 자동화된 관리: 원클릭 벤치마크 다운로드 및 데이터 처리를 제공합니다.
• 격리된 런타임: 모델 추론을 격리된 환경에서 실행하여 의존성 충돌을 제거합니다.
• 광범위한 커버리지: 음성, 사운드, 의학, 음악에 걸친 34개의 벤치마크를 포함합니다.
• 재현성: 인기 있는 오픈소스 모델에 대한 상세한 재현 문서와 원클릭 명령어를 제공합니다.
• 유연한 실행: GPU 병렬 가속, 오류 재시도, 중단 지점부터 재개(resume-from-breakpoint) 기능을 갖추고 있습니다.