QwenAudio/Fun-ASR

解决的问题

Fun-ASR 提供高精度、端到端的语音识别（ASR），专为现实世界中的挑战性环境设计。它特别解决了在强背景噪声、远场声音采集（如会议室或车辆中）以及各种中文方言和地方口音复杂性方面的语音转录难题。

工作原理

该项目提供了一组 8 亿参数的模型（Fun-ASR-Nano 和 Fun-ASR-MLT-Nano），可通过多种方式部署：

• 原生 Transformers： 与 transformers 库集成，支持标准 Python 推理。
• 高吞吐量推理： 与 vLLM 引擎集成，支持大规模批处理和通过 WebSocket 的实时流式传输。
• 边缘部署： 通过 llama.cpp 和 GGUF 格式提供自包含二进制文件，可在无 Python 运行时的 CPU 上进行推理。
• 管道组合： 可与 fsmn-vad（语音活动检测）和 cam++（说话人分离）等其他模型结合，用于长音频分段和识别谁在说话。

适用人群

需要在嘈杂环境中实现高精度语音识别、支持广泛亚洲语言和方言，或能够在从高端 GPU 到边缘 CPU 的多种硬件上部署的开发者和工程师。

主要亮点

• 广泛的语言支持： 支持中文（包括 7 种主要方言和 26 种地区口音）、英语、日语，以及覆盖 31 种语言的多语言检查点。
• 抗噪能力强： 针对远场和高噪声场景优化，识别准确率最高可达 93%。
• 专项识别能力： 支持在音乐背景中识别歌词和说唱语音。
• 极致性能： 与 vLLM 集成，推理速度比原生 PyTorch 快达 16 倍。
• 灵活部署： 支持从生产级 WebSocket 服务到独立 GGUF 二进制文件的各类部署方式。