RealtimeVAD 0.1.0: 조기 음성 활동 감지로 음성 비서의 턴 완료 시간을 최대 130ms 단축
빠른 요약
RealtimeVAD는 Silero VAD보다 중앙값 92ms 일찍 (빠른 모드에서는 최대 130ms) 발생하는 추측성 pause 이벤트를 제공하여, 음성 비서 파이프라인이 전사, LLM 호출 또는 TTS를 더 일찍 시작하고 화자가 계속 말하면 취소할 수 있게 하면서 Silero의 최종 end 정확도를 유지합니다.
RealtimeVAD가 하는 일
- 하이브리드 감지 – RealtimeVAD는 Silero VAD를 실행하여 음성을 확인하지만, 10ms마다 현재 오디오 레벨을 방의 소음 바닥 및 화자 자신의 레벨과 비교합니다.
- 조기
pause이벤트 – 오디오가 적응형 바닥 아래로 떨어지면 Silero의 확률이 0.5 아래로 떨어지기 전에pause이벤트가 발생합니다. - 추측성 파이프라인 – 애플리케이션은
pause에서 비용이 많이 드는 작업을 시작하고 이후resume(소리가 돌아온 후 약 20ms)에서 중단하거나 보장된end이벤트에서 마무리할 수 있습니다. - 드롭인 호환성 – API는 Silero의
VADIterator를 미러링하며, 에이전트용 LiveKit 플러그인이 제공됩니다.
Silero VAD 대비 측정된 리드
| 조건 | 중앙값 리드 (ms) | pause가 더 일찍 발생하는 턴 비율 |
|---|---|---|
| 근거리 마이크, 노이즈 억제, 단일 화자 (기본값) | 92 | 92% |
동일 하드웨어, pause_mode="fast" |
130 | 99% |
| 근거리 마이크, 214명 화자 (노이즈 억제 없음) | 82-90 | 80-90% |
| 조용한 음성, –38dBFS | 100-122 | 91-95% |
| 시뮬레이션된 전화선 | 92-114 | 79-87% |
| 원거리 테이블 마이크 (AMI) | 0 | 31% |
| 큰 꾸준한 소음 (화자 레벨 근처) | 없음 | – |
| 화자 근처의 옹알이/음악 | 없음 예상 | – |
end 이벤트는 Silero의 end와 동일합니다. 어떤 턴도 Silero가 끊는 것보다 일찍 끊기지 않습니다.
pause가 실제로 작동하는 방식
"
pause는 단어 사이의 모든 짧은 간격에서 발생하며, Silero 자체의 음성 종료보다 약 12배 더 자주 발생합니다. 대부분의 일시 중지 후에는 더 많은 음성이 이어집니다. 이득은pause에서 전사, LLM 호출 또는 음성 출력을 시작하고 화자가 계속 말할 때 그 작업을 버리는 데서 옵니다(추측성 생성)." – RealtimeVAD README
- 취소할 수 있는 작업 시작 –
pause에서 전사, LLM 추론 또는 TTS를 시작합니다. 작업은 중단하기 쉬워야 합니다(예: 스트리밍 LLM, 선제적 생성). resume에서 취소 –resume은 소리가 돌아온 후 약 20ms 후에 도착하여 조기 일시 중지의 약 90-95%를 회수합니다.pause를 최종으로 취급하지 마십시오 – 실제 턴 경계는end만 표시합니다.- 폴백 – 클립의 1-4%에서 마지막
pause가 철회되고end전에 새pause가 나타나지 않습니다. 시스템은end로 폴백해야 합니다.
올바른 pause_mode 선택
| 모드 | 중앙값 리드 (ms) | 100ms 이상 조기 일시 중지 비율 | 200ms 이상 조기 비율 | 초당 평균 조기 일시 중지 수 |
|---|---|---|---|---|
"accurate" (기본값) |
82-90 (단일 화자 세트의 경우 92) | 1-9% | 0.1-3% | 1.7-2.2 |
"balanced" |
102-114 | 11-17% | 2-7% | 1.7-2.0 |
"fast" |
118-126 (단일 화자 세트의 경우 130) | 18-24% | 4-10% | 2.0-2.2 |
fast를 사용해야 하는 경우 – 다운스트림 처리가 마지막 단어 조각 누락을 허용하는 경우(예: end에서 다시 생성됨). 그렇지 않으면 기본값을 사용하여 조기 일시 중지를 더 정확하게 유지하십시오.
성능 및 리소스 사용량
- CPU 사용량 – 단일 스레드에서 오디오 1초당 약 8ms의 처리.
- 의존성 –
numpy와onnxruntime만 필요합니다. Silero 모델이 번들로 포함되어 있어 PyTorch가 필요 없습니다. - 오디오 형식 – 16kHz 모노(float32 또는 int16). 8kHz 오디오의 경우 순수 Silero로 폴백해야 합니다.
통합 예제 (Python)
from RealtimeVAD import VAD
vad = VAD(resume_events=True) # `resume` 활성화
for chunk in microphone_chunks(): # 16kHz 모노, 모든 청크 크기
for ev in vad.feed(chunk):
if ev.kind == "start":
stream_to_asr(vad.audio())
elif ev.kind == "pause":
speculate(vad.audio()) # LLM, TTS 등 시작
elif ev.kind == "resume":
cancel_speculation()
elif ev.kind == "end":
finalize(ev.segment.audio) # 턴이 실제로 끝남
vad.audio() 메서드는 항상 실행 중인 세그먼트를 반환하며, 여기에는 약 0.3초의 사전 음성 오디오가 포함됩니다.
실제 영향 (LiveKit 사례 연구)
- LiveKit Agents 플러그인을 사용할 때, Whisper를 인식기로 사용한 경우 첫 번째 어시스턴트 오디오가 Silero 단독 사용보다 120ms 더 빨리 도착했고, 스트리밍 인식기를 사용한 경우 56ms 더 빨리 도착했으며, LLM 자체가 이미 턴보다 빠른 경우 0ms 개선되었습니다.
- 트레이드오프: 빠르게 취소할 수 없는 파이프라인에서 추측성 요청이 최대 1.7배 증가하여, 빠르게 취소 가능한 다운스트림 구성 요소의 중요성을 강조합니다.
제한 사항
- 추측성 전용 – 파이프라인이 작업을 취소할 수 없으면
pause는 이점 없이 노이즈만 추가합니다. - 원거리 마이크 또는 화자 근처의 큰 소음에서는 리드 없음 – 이러한 시나리오에서 RealtimeVAD는 Silero와 정확히 동일하게 동작합니다.
- 조기 일시 중지가 항상 정확한 것은 아님 – 읽은 문장의 1-2%와 회의 클립의 6-9%에서 단어가 끝나기 100ms 이상 전에 마지막
pause가 발생합니다. - Silero의 고유한 한계는 그대로 – Whisper 스타일 음성, 웃음, 기침 및 매우 조용한 음성은 여전히 놓칠 수 있습니다.
- 알파 단계 API – 향후 릴리스에서 생성자 인수 또는 기본값이 변경될 수 있습니다.
커뮤니티 토론 하이라이트
"고정된 침묵 창(예: 300ms)에서 트리거되는 추측성 재생성 파이프라인을 사용하여 문제를 완전히 피할 수도 있습니다. 제 설정에서는 사용자가 말을 멈춘 후 0.9-1.2초 내에 어시스턴트가 응답을 시작합니다." – nowittyusername (HN 댓글)
"사용자가 말을 마쳤을 확률을 예측하는 작은 LLM을 실행하여 VAD 시간을 단축하십시오. 진정한 음성-음성 모델만큼 좋지는 않지만 수백 밀리초를 줄입니다." – com2kid (HN 댓글)
이러한 댓글은 RealtimeVAD의 가치가 추측성 파이프라인에 있으며 대안 접근 방식(고정 침묵 창 또는 예측 모델)도 동일한 지연 시간 감소를 목표로 한다는 점을 강화합니다.
RealtimeVAD를 채택해야 하는 경우
- 파이프라인이 작업을 일찍 시작하고 수십 밀리초 내에 취소할 수 있는 경우 (예: 스트리밍 ASR → LLM → TTS with 선제적 생성).
- 근거리 마이크 캡처 체인이 있는 경우 (노이즈 억제 기능이 있는 데스크톱 또는 모바일). 원거리 마이크는 이점이 없습니다.
- 가끔 발생하는 조기 일시 중지를 수용하고
resume처리 또는end로 폴백하는 로직이 있는 경우.
이러한 조건 중 하나라도 거짓이면 더 간단한 Silero VAD가 여전히 더 나은 선택입니다.
Silero에서 RealtimeVAD로 전환하는 방법
# 기존 Silero import
from silero_vad import load_silero_vad, VADIterator
# 새 RealtimeVAD import (드롭인)
from RealtimeVAD import VAD
vad = VAD() # 기본 설정으로 92ms 중앙값 리드 제공
반환된 이벤트(start, pause, resume, end)는 Silero의 VADIterator와 새 추측성 신호를 더한 것과 일치합니다.
라이선스
RealtimeVAD는 MIT 라이선스로 배포됩니다. MIT 라이선스의 Silero VAD 모델을 번들로 포함합니다.