TEN-framework/ten-vad

Voice Activity Detector (VAD) : low-latency, high-performance and lightweight

解决的问题

TEN VAD 是一个为企业级对话式 AI 设计的实时语音活动检测 (VAD) 系统。它解决了准确识别用户何时说话、何时为静音或背景噪音的问题,特别旨在减少端到端响应延迟,并提高人机互动中的轮次检测精确度。

运作原理

TEN VAD 提供 16kHz 音频输入的帧级语音活动检测。它采用轻量级架构,可作为预先构建的动态库或通过 ONNX 模型部署。系统处理音频帧(具有可配置的跳跃大小,如 10ms 或 16ms),并根据可调整的阈值输出概率与二进制指标(语音或非语音)。

适用对象

此工具专为开发对话式语音 AI 代理的开发者设计,他们需要一个高性能、低延迟的 VAD,且能在各种平台上运行,包括服务器 (Linux, Windows, macOS) 与边缘设备 (Android, iOS, Web via WASM)。

特色亮点

  • 高精确度:在手动标注的测试集上表现优于 WebRTC VAD 与 Silero VAD。
  • 低延迟:快速检测语音到非语音的转换,减少代理响应的延迟。
  • 轻量化:与 Silero VAD 相比,具有显著较低的运算复杂度 (RTF) 与更小的库大小(在 Web 上低至 277KB)。
  • 广泛兼容性:支持 Python, C, Java, Go 与 JavaScript (WASM),跨越多种操作系统与硬件架构。

相关

  • 项目
  • 项目
  • 项目
  • 项目