Picovoice/speech-to-text-benchmark

해결하는 문제

이 프로젝트는 다양한 음성 인식 (STT) 엔진의 성능을 평가하기 위한 표준화되고 확장 가능한 프레임워크를 제공합니다. 정확도, 계산 효율성, 지연 시간을 측정하기 위한 일관된 데이터셋과 지표를 제공함으로써 서로 다른 모델과 클라우드 서비스를 비교할 때 발생하는 어려움을 해결합니다.

작동 방식

이 프레임워크는 오픈 소스 음성 데이터셋(LibriSpeech, Common Voice, TED-LIUM 등) 모음을 사용하여 클라우드 기반 서비스(AWS, Azure, Google, IBM) 및 로컬 모델(Whisper, Vosk, Moonshine, Nemotron, Picovoice)을 포함한 광범위한 STT 엔진을 테스트합니다. 특정 지표를 기반으로 성능을 계산하며, 이러한 벤치마크를 로컬에서 실행할 수 있는 스크립트를 제공합니다.

대상 사용자

이 도구는 애플리케이션에 적합한 STT 엔진을 선택해야 하며, 정확도, 속도, 리소스 사용량에 대한 객관적이고 데이터 기반의 비교가 필요한 개발자, 연구원 및 엔지니어를 위해 설계되었습니다.

주요 특징

• 포괄적인 지표: 단어 오류율 (WER), 문자 오류율 (CER), 구두점 오류율 (PER), 계산 효율성 (Core-Hour) 및 스트리밍 지연 시간을 평가합니다.
• 다양한 엔진 지원: 클라우드 기반 API와 로컬에서 호스팅되는 모델 모두를 벤치마킹합니다.
• 확장 가능한 프레임워크: 다국어 및 다양한 표준 음성 데이터셋을 지원합니다.
• 스트리밍 및 배치 지원: 실시간 스트리밍 엔진과 배치 처리 모두를 위한 특정 테스트 프로토콜을 포함합니다.