wavlab-speech/versa

해결하는 문제

VERSA는 음성 및 오디오 품질을 평가하기 위한 통합 도구 키트를 제공합니다. 수십 가지의 다른 평가 방법을 수동으로 구현하거나 통합하는 대신, 연구자와 개발자는 하나의 프레임워크를 통해 오디오 품질의 여러 차원에 걸쳐 90개 이상의 평가 및 프로파일링 메트릭에 접근할 수 있습니다.

작동 방식

VERSA는 방대한 오디오 메트릭의 포괄적인 래퍼이자 오케스트레이터 역할을 합니다. 이 메트릭은 참조가 필요 없는 독립형, 예측값과 참조값을 비교하는 종속형, 매칭되지 않는 형, 그리고 분포형(모음의 통계적 특성)의 네 가지 범주로 분류됩니다. 도구 키트는 파일 경로, SCP 파일, Kaldi 스타일 ARK 등 다양한 입력 형식을 지원하며, Slurm을 사용하여 로컬 머신이나 클러스터에서 분산 평가가 가능합니다. 또한 Qwen2-Audio 기반의 LLM 기반 지각 메트릭과 통합되어 더 정교한 오디오 프로파일링을 제공합니다.

대상 사용자

음성 및 오디오 연구자, 신경 코덱 개발자, AI 기반 오디오 생성 또는 처리 시스템을 구축하는 누구나 표준화된 방식으로 성능을 측정하고자 하는 사람들을 대상으로 합니다.

주요 특징

• 대규모 메트릭 라이브러리: 지각 품질, 이해도, 기술적 측정을 포함한 90개 이상의 메트릭에 접근 가능.
• 확장 가능한 인프라: Slurm을 통한 분산 평가 지원 및 중단된 스코어링 실행 재시작 기능.
• 유연한 입력/출력: ESPnet과 같은 표준 음성 툴킷과 호환되며, 다양한 오디오 입력 형식을 지원.
• LLM 통합: 대규모 언어 모델 기반 지각 메트릭을 지원하여 고급 오디오 품질 평가 가능.
• 탐색 도구: 작업에 따라 사용 가능한 메트릭을 목록화하고 추천 설정 파일을 생성하는 CLI (versa-score) 포함.