QwenAudio/SenseVoice
Open-source SenseVoiceSmall model for Mandarin, Cantonese, English, Japanese, and Korean ASR, language ID, emotion recognition, and audio event detection.
解决的问题
SenseVoice 是一个设计用于同时处理多种音频理解任务的语音基础模型。它解决了多语言环境下高精度、低延迟语音识别的需求，同时捕捉标准 ASR 系统中常被忽略的非语言线索（如情绪和环境声音）。
工作原理
SenseVoice 采用非自回归端到端框架，实现极低延迟的推理。发布的 SenseVoiceSmall 检查点支持自动语音识别（ASR）、说话语言识别（LID）、语音情感识别（SER）和音频事件检测（AED）。它可以作为基于 FastAPI 的 Python 服务部署，导出为 ONNX 或 Libtorch 以获得优化性能，或使用 llama.cpp/GGUF 在 CPU/边缘设备上以独立二进制文件形式运行。
适用人群
需要多语言支持（特别是普通话、粤语、英语、日语和韩语）并能实时检测情绪状态或特定音频事件（如笑声或咳嗽）的语音应用开发者和研究人员。
主要亮点
- 多任务能力：一个模型即可完成 ASR、语言识别、情感识别和音频事件检测。
- 高效率：非自回归架构使其运行速度显著快于 Whisper-Small 和 Whisper-Large。
- 丰富转录：可检测常见的“人机交互事件”（如鼓掌、哭泣、打喷嚏）和情感语调。
- 灵活部署：支持 GPU、CPU 和边缘设备部署，通过 GGUF 实现，二进制版本无需 Python 运行时。
- 支持微调：提供脚本和策略，可将模型适配至特定业务场景或长尾样本。
相关
- 项目
- 项目
- 项目
- 项目
- 项目