TEN-framework/ten-vad
Voice Activity Detector (VAD) : low-latency, high-performance and lightweight
解决的问题
TEN VAD 是一个为企业级对话式 AI 设计的实时语音活动检测 (VAD) 系统。它解决了准确识别用户何时说话、何时为静音或背景噪音的问题,特别旨在减少端到端响应延迟,并提高人机互动中的轮次检测精确度。
运作原理
TEN VAD 提供 16kHz 音频输入的帧级语音活动检测。它采用轻量级架构,可作为预先构建的动态库或通过 ONNX 模型部署。系统处理音频帧(具有可配置的跳跃大小,如 10ms 或 16ms),并根据可调整的阈值输出概率与二进制指标(语音或非语音)。
适用对象
此工具专为开发对话式语音 AI 代理的开发者设计,他们需要一个高性能、低延迟的 VAD,且能在各种平台上运行,包括服务器 (Linux, Windows, macOS) 与边缘设备 (Android, iOS, Web via WASM)。
特色亮点
- 高精确度:在手动标注的测试集上表现优于 WebRTC VAD 与 Silero VAD。
- 低延迟:快速检测语音到非语音的转换,减少代理响应的延迟。
- 轻量化:与 Silero VAD 相比,具有显著较低的运算复杂度 (RTF) 与更小的库大小(在 Web 上低至 277KB)。
- 广泛兼容性:支持 Python, C, Java, Go 与 JavaScript (WASM),跨越多种操作系统与硬件架构。
相关
- 项目
- 项目
- 项目
- 项目