QwenAudio/Fun-ASR

해결하는 문제

Fun-ASR는 실제 환경에서의 도전적인 상황에 특화된 고정밀 엔드투엔드 음성 인식(ASR)을 제공합니다. 특히 강한 배경 노이즈가 있는 오디오의 음성 전사, 회의실이나 차량과 같은 먼 거리에서의 음성 캡처, 다양한 중국어 방언과 지역 사투리의 복잡성 문제를 해결합니다.

작동 방식

이 프로젝트는 8억 파라미터 모델(예: Fun-ASR-Nano 및 Fun-ASR-MLT-Nano)의 패밀리를 제공하며, 다음과 같은 다양한 방식으로 배포할 수 있습니다:

• 네이티브 Transformers: transformers 라이브러리와 통합되어 표준 Python 기반 추론이 가능합니다.
• 고처리량 추론: vLLM 엔진과 통합되어 대규모 배치 처리 및 WebSocket을 통한 실시간 스트리밍이 가능합니다.
• 에지 배포: llama.cpp 및 GGUF 형식을 통해 자체 포함형 바이너리로 제공되어 Python 런타임 없이 CPU만으로 추론이 가능합니다.
• 파이프라인 조합: fsmn-vad (음성 활동 탐지) 및 cam++ (화자 분리)와 같은 다른 모델과 결합하여 긴 오디오를 세그먼트화하거나 누가 말하고 있는지 식별할 수 있습니다.

대상 사용자

노이즈가 많은 환경에서 높은 정확도가 필요한 음성-텍스트 애플리케이션을 개발하는 개발자 및 엔지니어. 다양한 아시아어 및 방언 지원, 또는 고성능 GPU부터 에지 CPU까지 다양한 하드웨어에 배포할 수 있는 능력이 필요할 경우 적합합니다.

주요 특징

• 광범위한 언어 지원: 중국어(주요 7개 방언 및 26개 지역 사투리 포함), 영어, 일본어, 31개 언어를 커버하는 다국어 체크포인트를 지원합니다.
• 노이즈 내성: 먼 거리 및 고노이즈 환경에 최적화되어 최대 93%의 인식 정확도를 달성합니다.
• 특화된 인식 기능: 음악 배경 속 가사 및 랩 음성 인식 기능을 포함합니다.
• 극한의 성능: vLLM 통합으로 네이티브 PyTorch보다 최대 16배 빠른 추론 속도를 제공합니다.
• 유연한 배포: 프로덕션 수준의 WebSocket 서비스부터 독립형 GGUF 바이너리까지 모든 배포 형태를 지원합니다.