RealtimeVAD 0.1.0:早期语音活动检测使语音助手的回合完成速度提升高达130毫秒

快速要点

RealtimeVAD 提供了一个推测性的 pause 事件,该事件比 Silero VAD 中位数提前 92 毫秒触发(在 fast 模式下最多提前 130 毫秒),使语音助手管道能够更早地开始转录、LLM 调用或 TTS,并在说话者继续说话时取消这些操作,同时保持 Silero 最终 end 事件的准确性。


RealtimeVAD 的功能

  • 混合检测 – RealtimeVAD 运行 Silero VAD 来确认语音,但每 10 毫秒还会将当前音频电平与房间噪声底和说话者自身的电平进行比较。
  • 早期 pause 事件 – 当音频降至自适应底以下时,pause 事件会在 Silero 的概率降至 0.5 以下之前发出。
  • 推测性管道 – 应用程序可以在 pause 时启动昂贵的工作,并在随后的 resume(声音恢复后约 20 毫秒)时中止,或在有保证的 end 事件时完成。
  • 即插即用兼容性 – API 镜像了 Silero 的 VADIterator,并为代理提供了一个 LiveKit 插件。

相对于 Silero VAD 的实测提前量

条件 中位提前量(毫秒) pause 提前的回合百分比
近讲麦克风、降噪、单说话者(默认) 92 92%
相同硬件,pause_mode="fast" 130 99%
近讲麦克风,214 位说话者(无降噪) 82-90 80-90%
安静语音,-38 dBFS 100-122 91-95%
模拟电话线路 92-114 79-87%
远距离桌面麦克风(AMI) 0 31%
响亮的稳定噪声(约等于说话者电平) 无 –
接近说话者的嘈杂声/音乐 预计无 –

end 事件与 Silero 的 end 事件相同;没有回合会比 Silero 更早被切断。


pause 的实际工作原理

"pause 会在每个单词之间的短暂间隙触发,频率大约是 Silero 自身语音结束事件的十二倍。大多数暂停之后会继续说话。收益来自于在 pause 时启动转录、LLM 调用或语音输出,并在说话者继续时丢弃这些工作(推测性生成)。" – RealtimeVAD README

  • 启动你可以取消的工作 – 在 pause 时,启动转录、LLM 推理或 TTS。该工作必须易于中止(例如,流式 LLM、抢占式生成)。
  • 在 resume 时取消 – resume 在声音恢复后约 20 毫秒到达,回收约 90-95% 的过早暂停。
  • 切勿将 pause 视为最终状态 – 只有 end 才标志着真正的回合边界。
  • 回退 – 在 1-4% 的片段中,最后一个 pause 被撤回,并且在 end 之前没有新的 pause 出现;系统应回退到 end。

选择合适的 pause_mode

模式 中位提前量(毫秒) 提前超过 100 毫秒的暂停百分比 提前超过 200 毫秒的百分比 每秒平均过早暂停次数
"accurate"(默认) 82-90(单说话者集为 92) 1-9% 0.1-3% 1.7-2.2
"balanced" 102-114 11-17% 2-7% 1.7-2.0
"fast" 118-126(单说话者集为 130) 18-24% 4-10% 2.0-2.2

何时使用 fast – 如果下游处理能够容忍丢失最后一个单词片段(例如,它将在 end 时重新生成)。否则,请坚持使用默认值以保持早期暂停更准确。


性能和资源占用

  • CPU 使用率 – 单线程上每秒音频约需 8 毫秒处理时间。
  • 依赖项 – 仅需 numpy 和 onnxruntime;Silero 模型已捆绑,无需 PyTorch。
  • 音频格式 – 16 kHz 单声道(float32 或 int16)。对于 8 kHz 音频,您必须回退到纯 Silero。

集成示例(Python)

from RealtimeVAD import VAD
vad = VAD(resume_events=True)  # 启用 `resume`

for chunk in microphone_chunks():   # 16 kHz 单声道,任意块大小
    for ev in vad.feed(chunk):
        if ev.kind == "start":
            stream_to_asr(vad.audio())
        elif ev.kind == "pause":
            speculate(vad.audio())          # 启动 LLM、TTS 等
        elif ev.kind == "resume":
            cancel_speculation()
        elif ev.kind == "end":
            finalize(ev.segment.audio)       # 回合真正结束

vad.audio() 方法始终返回正在进行的片段,包括约 0.3 秒的语音前音频。


实际影响(LiveKit 案例研究)

  • 使用 LiveKit Agents 插件,当 Whisper 作为识别器时,第一个助手音频比单独使用 Silero 提前 120 毫秒到达,使用流式识别器时提前 56 毫秒,而当 LLM 本身已经比回合更快时,改进为 0 毫秒。
  • 权衡:在无法快速取消的管道中,推测性请求增加了最多 1.7 倍,这凸显了快速可取消下游组件的重要性。

局限性

  • 仅限推测性 – 如果您的管道无法取消工作,pause 只会增加噪音而无益。
  • 对远距离麦克风或响亮的近说话者噪声无提前量 – 在这些场景中,RealtimeVAD 的行为与 Silero 完全相同。
  • 早期暂停并不总是正确的 – 1-2% 的朗读句子和 6-9% 的会议片段中,最后一个 pause 比单词结束提前超过 100 毫秒。
  • Silero 的固有限制仍然存在 – Whisper 风格的语音、笑声、咳嗽和非常安静的语音仍可能被漏掉。
  • Alpha 阶段 API – 未来版本可能会更改构造函数参数或默认值。

社区讨论亮点

"您还可以通过使用在固定静音窗口(例如 300 毫秒)上触发的推测性重新生成管道来完全避免这个问题。在我的设置中,助手在用户停止说话后 0.9-1.2 秒内开始回答。" – nowittyusername(HN 评论)

"运行一个微型 LLM 来预测用户说完话的概率,并用它来缩短 VAD 时间。它不如真正的语音到语音模型好,但可以削减几百毫秒。" – com2kid(HN 评论)

这些评论强化了 RealtimeVAD 的价值在于推测性管道,并且替代方法(固定静音窗口或预测模型)旨在实现相同的延迟降低。


何时采用 RealtimeVAD

  • 您的管道可以提前开始工作并在几十毫秒内取消(例如,流式 ASR → LLM → TTS 与抢占式生成)。
  • 您拥有近讲麦克风采集链(带降噪的桌面或移动设备)。远距离麦克风将看不到任何好处。
  • 您接受偶尔的过早暂停,并有处理 resume 或回退到 end 的逻辑。

如果这些条件中的任何一个不成立,则更简单的 Silero VAD 仍然是更好的选择。


如何从 Silero 切换到 RealtimeVAD

# 旧的 Silero 导入
from silero_vad import load_silero_vad, VADIterator

# 新的 RealtimeVAD 导入(即插即用)
from RealtimeVAD import VAD

vad = VAD()  # 默认设置提供 92 毫秒的中位提前量

返回的事件(start、pause、resume、end)与 Silero 的 VADIterator 加上新的推测性信号相匹配。


许可证

RealtimeVAD 在 MIT 许可证下发布。它捆绑了 MIT 许可的 Silero VAD 模型。

Sources