QwenAudio/Fun-ASR

해결하는 문제

Fun-ASR는 실제 환경에서 어려운 오디오를 처리할 수 있도록 설계된 고정밀 엔드투엔드 음성 인식(ASR)을 제공합니다. 특히 강한 배경 노이즈가 있는 오디오, 원거리 음성 캡처(회의실이나 차량 등), 다양한 중국어 방언과 지역 사투리의 복잡성을 해결합니다.

작동 방식

이 프로젝트는 특히 800M 파라미터의 Nano 체크포인트를 포함한 모델 패밀리를 제공합니다. 이러한 모델은 수천만 시간에 이르는 대규모 데이터셋으로 훈련되어 강건성을 보장합니다. 시스템은 다음과 같은 방식으로 배포할 수 있습니다:

• PyTorch 네이티브: 일반적인 용도의 표준 추론.
• vLLM 엔진: 배치 처리 시 3~5배 빠른 고처리량 경로이며, 실시간 자막을 위한 생산 수준의 WebSocket 스트리밍도 지원.
• llama.cpp/GGUF: Python 런타임이 필요 없이 CPU 또는 엣지 디바이스에서 모델을 실행할 수 있는 자체 포함형 바이너리 버전.
• 조합 파이프라인: Nano 모델은 원래 말하는 사람 라벨이나 타임스탬프를 처리하지 않지만, 별도의 모델(예: FSMN-VAD로 음성 활동 탐지, CAM++로 말하는 사람 분리)과 결합하여 라벨이 붙은 전사본을 생성할 수 있습니다.

대상 사용자

노이즈가 많은 환경에서 높은 정확도가 필요한 음성-텍스트 애플리케이션을 개발하는 개발자 및 엔지니어, 다양한 동아시아 및 동남아시아 언어를 지원하거나 자원 제약이 있는 엣지 하드웨어에 배포할 수 있는 솔루션이 필요한 사용자에게 적합합니다.

주요 특징

• 광범위한 언어 지원: 31개 언어를 지원하는 다국어 체크포인트와 중국어, 영어, 일본어, 그리고 7개 주요 중국어 방언을 전문적으로 다루는 전용 Nano 체크포인트 제공.
• 노이즈 내성: 원거리 및 고노이즈 환경에 최적화되어 최대 93%의 인식 정확도를 달성.
• 특화된 인식: 음악 배경이 있는 상황에서도 가사나 랩 음성 인식이 가능.
• 고성능: vLLM 통합으로 배치 전사에서 PyTorch 네이티브 대비 최대 16배 빠른 처리 속도를 제공.