QwenAudio/SenseVoice

해결하는 문제

SenseVoice는 고정확도 다국어 음성 인식 및 이해를 제공하기 위해 설계된 음성 기반 모델입니다. 자동 음성 인식(ASR), 음성 언어 식별(LID), 음성 감정 인식(SER), 오디오 이벤트 감지(AED)를 동시에 처리할 수 있는 단일 모델의 필요성을 해결합니다.

작동 방식

SenseVoice는 비자기회귀 엔드투엔드 프레임워크를 사용하여 저지연 추론을 가능하게 합니다. 출시된 SenseVoiceSmall 체크포인트는 중국어(북경어), 광둥어, 영어, 일본어, 한국어를 지원합니다. FunASR을 통해 Python 패키지로 배포하거나 ONNX 또는 Libtorch로 내보내거나 llama.cpp/GGUF를 사용하여 CPU/엣지 환경용 독립 실행형 바이너리로 실행할 수 있습니다. 긴 오디오 파일의 경우 메모리 오버플로를 방지하기 위해 경계 메모리 윈도우 접근 방식 또는 VAD(음성 활동 감지) 파이프라인을 사용합니다.

대상 사용자

이 프로젝트는 감정적 맥락과 환경 오디오 이벤트도 캡처하는 효율적인 다국어 음성-텍스트 시스템이 필요한 개발자와 연구자를 위한 것입니다. 특히 중국어와 광둥어를 다루는 사람들에게 적합합니다.

주요 특징

• 멀티태스크 기능: 단일 모델에서 ASR, 언어 식별, 감정 인식, 오디오 이벤트 감지(예: 웃음, 기침, 박수)를 수행합니다.
• 높은 효율성: 비자기회귀 아키텍처로 인해 유사한 매개변수 수에서 Whisper-Small 및 Whisper-Large보다 훨씬 빠릅니다.
• 풍부한 전사: 음성 감정 인식에서 많은 기존 모델을 능가하며 사운드 이벤트 태그를 제공합니다.
• 유연한 배포: FastAPI, Docker 및 Python 없는 환경용 C++ 바이너리를 포함한 다양한 런타임을 지원합니다.