RealtimeVAD 0.1.0: 조기 음성 활동 감지로 음성 비서의 턴 완료 시간을 최대 130ms 단축

빠른 요약

RealtimeVAD는 Silero VAD보다 중앙값 92ms 일찍 (빠른 모드에서는 최대 130ms) 발생하는 추측성 pause 이벤트를 제공하여, 음성 비서 파이프라인이 전사, LLM 호출 또는 TTS를 더 일찍 시작하고 화자가 계속 말하면 취소할 수 있게 하면서 Silero의 최종 end 정확도를 유지합니다.


RealtimeVAD가 하는 일

  • 하이브리드 감지 – RealtimeVAD는 Silero VAD를 실행하여 음성을 확인하지만, 10ms마다 현재 오디오 레벨을 방의 소음 바닥 및 화자 자신의 레벨과 비교합니다.
  • 조기 pause 이벤트 – 오디오가 적응형 바닥 아래로 떨어지면 Silero의 확률이 0.5 아래로 떨어지기 전에 pause 이벤트가 발생합니다.
  • 추측성 파이프라인 – 애플리케이션은 pause에서 비용이 많이 드는 작업을 시작하고 이후 resume(소리가 돌아온 후 약 20ms)에서 중단하거나 보장된 end 이벤트에서 마무리할 수 있습니다.
  • 드롭인 호환성 – API는 Silero의 VADIterator를 미러링하며, 에이전트용 LiveKit 플러그인이 제공됩니다.

Silero VAD 대비 측정된 리드

조건 중앙값 리드 (ms) pause가 더 일찍 발생하는 턴 비율
근거리 마이크, 노이즈 억제, 단일 화자 (기본값) 92 92%
동일 하드웨어, pause_mode="fast" 130 99%
근거리 마이크, 214명 화자 (노이즈 억제 없음) 82-90 80-90%
조용한 음성, –38dBFS 100-122 91-95%
시뮬레이션된 전화선 92-114 79-87%
원거리 테이블 마이크 (AMI) 0 31%
큰 꾸준한 소음 (화자 레벨 근처) 없음 –
화자 근처의 옹알이/음악 없음 예상 –

end 이벤트는 Silero의 end와 동일합니다. 어떤 턴도 Silero가 끊는 것보다 일찍 끊기지 않습니다.


pause가 실제로 작동하는 방식

"pause는 단어 사이의 모든 짧은 간격에서 발생하며, Silero 자체의 음성 종료보다 약 12배 더 자주 발생합니다. 대부분의 일시 중지 후에는 더 많은 음성이 이어집니다. 이득은 pause에서 전사, LLM 호출 또는 음성 출력을 시작하고 화자가 계속 말할 때 그 작업을 버리는 데서 옵니다(추측성 생성)." – RealtimeVAD README

  • 취소할 수 있는 작업 시작 – pause에서 전사, LLM 추론 또는 TTS를 시작합니다. 작업은 중단하기 쉬워야 합니다(예: 스트리밍 LLM, 선제적 생성).
  • resume에서 취소 – resume은 소리가 돌아온 후 약 20ms 후에 도착하여 조기 일시 중지의 약 90-95%를 회수합니다.
  • pause를 최종으로 취급하지 마십시오 – 실제 턴 경계는 end만 표시합니다.
  • 폴백 – 클립의 1-4%에서 마지막 pause가 철회되고 end 전에 새 pause가 나타나지 않습니다. 시스템은 end로 폴백해야 합니다.

올바른 pause_mode 선택

모드 중앙값 리드 (ms) 100ms 이상 조기 일시 중지 비율 200ms 이상 조기 비율 초당 평균 조기 일시 중지 수
"accurate" (기본값) 82-90 (단일 화자 세트의 경우 92) 1-9% 0.1-3% 1.7-2.2
"balanced" 102-114 11-17% 2-7% 1.7-2.0
"fast" 118-126 (단일 화자 세트의 경우 130) 18-24% 4-10% 2.0-2.2

fast를 사용해야 하는 경우 – 다운스트림 처리가 마지막 단어 조각 누락을 허용하는 경우(예: end에서 다시 생성됨). 그렇지 않으면 기본값을 사용하여 조기 일시 중지를 더 정확하게 유지하십시오.


성능 및 리소스 사용량

  • CPU 사용량 – 단일 스레드에서 오디오 1초당 약 8ms의 처리.
  • 의존성 – numpy와 onnxruntime만 필요합니다. Silero 모델이 번들로 포함되어 있어 PyTorch가 필요 없습니다.
  • 오디오 형식 – 16kHz 모노(float32 또는 int16). 8kHz 오디오의 경우 순수 Silero로 폴백해야 합니다.

통합 예제 (Python)

from RealtimeVAD import VAD
vad = VAD(resume_events=True)  # `resume` 활성화

for chunk in microphone_chunks():   # 16kHz 모노, 모든 청크 크기
    for ev in vad.feed(chunk):
        if ev.kind == "start":
            stream_to_asr(vad.audio())
        elif ev.kind == "pause":
            speculate(vad.audio())          # LLM, TTS 등 시작
        elif ev.kind == "resume":
            cancel_speculation()
        elif ev.kind == "end":
            finalize(ev.segment.audio)       # 턴이 실제로 끝남

vad.audio() 메서드는 항상 실행 중인 세그먼트를 반환하며, 여기에는 약 0.3초의 사전 음성 오디오가 포함됩니다.


실제 영향 (LiveKit 사례 연구)

  • LiveKit Agents 플러그인을 사용할 때, Whisper를 인식기로 사용한 경우 첫 번째 어시스턴트 오디오가 Silero 단독 사용보다 120ms 더 빨리 도착했고, 스트리밍 인식기를 사용한 경우 56ms 더 빨리 도착했으며, LLM 자체가 이미 턴보다 빠른 경우 0ms 개선되었습니다.
  • 트레이드오프: 빠르게 취소할 수 없는 파이프라인에서 추측성 요청이 최대 1.7배 증가하여, 빠르게 취소 가능한 다운스트림 구성 요소의 중요성을 강조합니다.

제한 사항

  • 추측성 전용 – 파이프라인이 작업을 취소할 수 없으면 pause는 이점 없이 노이즈만 추가합니다.
  • 원거리 마이크 또는 화자 근처의 큰 소음에서는 리드 없음 – 이러한 시나리오에서 RealtimeVAD는 Silero와 정확히 동일하게 동작합니다.
  • 조기 일시 중지가 항상 정확한 것은 아님 – 읽은 문장의 1-2%와 회의 클립의 6-9%에서 단어가 끝나기 100ms 이상 전에 마지막 pause가 발생합니다.
  • Silero의 고유한 한계는 그대로 – Whisper 스타일 음성, 웃음, 기침 및 매우 조용한 음성은 여전히 놓칠 수 있습니다.
  • 알파 단계 API – 향후 릴리스에서 생성자 인수 또는 기본값이 변경될 수 있습니다.

커뮤니티 토론 하이라이트

"고정된 침묵 창(예: 300ms)에서 트리거되는 추측성 재생성 파이프라인을 사용하여 문제를 완전히 피할 수도 있습니다. 제 설정에서는 사용자가 말을 멈춘 후 0.9-1.2초 내에 어시스턴트가 응답을 시작합니다." – nowittyusername (HN 댓글)

"사용자가 말을 마쳤을 확률을 예측하는 작은 LLM을 실행하여 VAD 시간을 단축하십시오. 진정한 음성-음성 모델만큼 좋지는 않지만 수백 밀리초를 줄입니다." – com2kid (HN 댓글)

이러한 댓글은 RealtimeVAD의 가치가 추측성 파이프라인에 있으며 대안 접근 방식(고정 침묵 창 또는 예측 모델)도 동일한 지연 시간 감소를 목표로 한다는 점을 강화합니다.


RealtimeVAD를 채택해야 하는 경우

  • 파이프라인이 작업을 일찍 시작하고 수십 밀리초 내에 취소할 수 있는 경우 (예: 스트리밍 ASR → LLM → TTS with 선제적 생성).
  • 근거리 마이크 캡처 체인이 있는 경우 (노이즈 억제 기능이 있는 데스크톱 또는 모바일). 원거리 마이크는 이점이 없습니다.
  • 가끔 발생하는 조기 일시 중지를 수용하고 resume 처리 또는 end로 폴백하는 로직이 있는 경우.

이러한 조건 중 하나라도 거짓이면 더 간단한 Silero VAD가 여전히 더 나은 선택입니다.


Silero에서 RealtimeVAD로 전환하는 방법

# 기존 Silero import
from silero_vad import load_silero_vad, VADIterator

# 새 RealtimeVAD import (드롭인)
from RealtimeVAD import VAD

vad = VAD()  # 기본 설정으로 92ms 중앙값 리드 제공

반환된 이벤트(start, pause, resume, end)는 Silero의 VADIterator와 새 추측성 신호를 더한 것과 일치합니다.


라이선스

RealtimeVAD는 MIT 라이선스로 배포됩니다. MIT 라이선스의 Silero VAD 모델을 번들로 포함합니다.

Sources