RealtimeVAD 0.1.0: 早期音声活動検出により、音声アシスタントのターン完了が最大130ミリ秒高速化

クイックまとめ

RealtimeVADは、Silero VADよりも中央値で92ミリ秒早く(高速モードでは最大130ミリ秒)発火する投機的なpauseイベントを提供し、音声アシスタントのパイプラインが文字起こし、LLM呼び出し、またはTTSを早期に開始し、話者が続けた場合にそれらをキャンセルできるようにします。同時に、Sileroの最終的なend精度も維持します。


RealtimeVADの機能

  • ハイブリッド検出 – RealtimeVADはSilero VADを実行して音声を確認しますが、10ミリ秒ごとに現在のオーディオレベルを部屋のノイズフロアと話者自身のレベルと比較します。
  • 早期pauseイベント – オーディオが適応フロアを下回ると、Sileroの確率が0.5を下回る前にpauseイベントが発行されます。
  • 投機的パイプライン – アプリケーションはpauseでコストのかかる作業を開始し、その後のresume(音声が戻ってから約20ミリ秒後)で中止するか、保証されたendイベントで確定できます。
  • ドロップイン互換性 – APIはSileroのVADIteratorをミラーリングしており、エージェント用のLiveKitプラグインが提供されています。

Silero VADに対する測定されたリード

条件 中央値リード (ms) pauseがより早いターンの割合
近接マイク、ノイズ抑制、単一話者(デフォルト) 92 92%
同じハードウェア、pause_mode="fast" 130 99%
近接マイク、214話者(ノイズ抑制なし) 82-90 80-90%
静かな音声、-38 dBFS 100-122 91-95%
シミュレートされた電話回線 92-114 79-87%
遠距離テーブルマイク (AMI) 0 31%
大きな定常ノイズ(話者レベルに近い) なし –
話者に近い雑音/音楽 期待なし –

endイベントはSileroのendと同一です。Sileroがカットするよりも早くターンがカットされることはありません。


pauseの実際の動作

"pauseは、単語間の短いギャップごとに発火し、Silero自身の音声オフの約12倍の頻度です。ほとんどのポーズの後にはさらに音声が続きます。利点は、pauseで文字起こし、LLM呼び出し、または音声出力を開始し、話者が続けた場合にその作業を破棄することにあります(投機的生成)。" – RealtimeVAD README

  • キャンセル可能な作業を開始 – pauseで、文字起こし、LLM推論、またはTTSを起動します。作業は中止が簡単である必要があります(例:ストリーミングLLM、プリエンプティブ生成)。
  • resumeでキャンセル – resumeは音声が戻ってから約20ミリ秒後に到着し、時期尚早なポーズの約90-95%を回収します。
  • pauseを最終と見なさない – 真のターン境界を示すのはendのみです。
  • フォールバック – 1-4%のクリップでは、最後のpauseが撤回され、endの前に新しいpauseが表示されません。システムはendにフォールバックする必要があります。

適切なpause_modeの選択

モード 中央値リード (ms) 100ミリ秒以上早いポーズの割合 200ミリ秒以上早いポーズの割合 1秒あたりの平均時期尚早ポーズ数
"accurate" (デフォルト) 82-90 (1話者セットでは92) 1-9% 0.1-3% 1.7-2.2
"balanced" 102-114 11-17% 2-7% 1.7-2.0
"fast" 118-126 (1話者セットでは130) 18-24% 4-10% 2.0-2.2

fastを使用する場合 – ダウンストリーム処理が最後の単語の断片の欠落を許容する場合(例:endで再生成される)。それ以外の場合は、デフォルトを使用して早期ポーズの精度を維持します。


パフォーマンスとリソースフットプリント

  • CPU使用率 – シングルスレッドでオーディオ1秒あたり約8ミリ秒の処理。
  • 依存関係 – numpyとonnxruntimeのみ。Sileroモデルがバンドルされており、PyTorchは不要です。
  • オーディオ形式 – 16 kHzモノラル(float32またはint16)。8 kHzオーディオの場合は、純粋なSileroにフォールバックする必要があります。

統合例 (Python)

from RealtimeVAD import VAD
vad = VAD(resume_events=True)  # `resume`を有効にする

for chunk in microphone_chunks():   # 16 kHzモノラル、任意のチャンクサイズ
    for ev in vad.feed(chunk):
        if ev.kind == "start":
            stream_to_asr(vad.audio())
        elif ev.kind == "pause":
            speculate(vad.audio())          # LLM、TTSなどを開始
        elif ev.kind == "resume":
            cancel_speculation()
        elif ev.kind == "end":
            finalize(ev.segment.audio)       # ターンは本当に終了

vad.audio()メソッドは常に実行中のセグメントを返し、約0.3秒の音声前オーディオを含みます。


実際の影響 (LiveKitケーススタディ)

  • LiveKit Agentsプラグインを使用すると、Whisperを認識器とした場合、最初のアシスタントオーディオはSilero単独の場合よりも120ミリ秒早く到着し、ストリーミング認識器では56ミリ秒早く、LLM自体がすでにターンより速い場合は0ミリ秒の改善でした。
  • トレードオフ:迅速にキャンセルできないパイプラインでは、投機的リクエストが最大1.7倍に増加し、高速キャンセル可能なダウンストリームコンポーネントの重要性が浮き彫りになりました。

制限事項

  • 投機的のみ – パイプラインが作業をキャンセルできない場合、pauseは利益なしにノイズを追加します。
  • 遠距離マイクや話者に近い大きなノイズではリードなし – これらのシナリオでは、RealtimeVADはSileroとまったく同じように動作します。
  • 早期ポーズは常に正しいとは限らない – 読み上げ文の1-2%と会議クリップの6-9%で、単語の終了より100ミリ秒以上前の最後のpauseがあります。
  • Sileroの固有の制限は残る – Whisperスタイルの音声、笑い声、咳、非常に静かな音声は依然として見逃される可能性があります。
  • アルファ段階のAPI – 将来のリリースでは、コンストラクタ引数またはデフォルトが変更される可能性があります。

コミュニティディスカッションのハイライト

"固定された無音ウィンドウ(例:300ミリ秒)でトリガーされる投機的再生成パイプラインを使用することで、問題を完全に回避することもできます。私のセットアップでは、アシスタントはユーザーが話し終えてから0.9〜1.2秒以内に応答を開始します。" – nowittyusername (HNコメント)

"ユーザーが話し終えた確率を予測する小さなLLMを実行し、それを使用してVAD時間を短縮します。真の音声対音声モデルほど良くはありませんが、数百ミリ秒を削減できます。" – com2kid (HNコメント)

これらのコメントは、RealtimeVADの価値が投機的パイプラインにあり、代替アプローチ(固定無音ウィンドウや予測モデル)も同じレイテンシー削減を目指していることを強調しています。


RealtimeVADを採用するタイミング

  • パイプラインが作業を早期に開始し、数十ミリ秒以内にキャンセルできる場合(例:ストリーミングASR → LLM → TTSとプリエンプティブ生成)。
  • 近接マイクキャプチャチェーンがある場合(ノイズ抑制付きのデスクトップまたはモバイル)。遠距離マイクではメリットはありません。
  • 時折の時期尚早なポーズを受け入れ、resumeを処理するかendにフォールバックするロジックがある場合。

これらの条件のいずれかが偽の場合、よりシンプルなSilero VADが引き続き良い選択です。


SileroからRealtimeVADへの切り替え方法

# 古いSileroインポート
from silero_vad import load_silero_vad, VADIterator

# 新しいRealtimeVADインポート(ドロップイン)
from RealtimeVAD import VAD

vad = VAD()  # デフォルト設定で92ミリ秒の中央値リード

返されるイベント(start、pause、resume、end)は、SileroのVADIteratorに新しい投機的シグナルを加えたものと一致します。


ライセンス

RealtimeVADはMITライセンスの下でリリースされています。MITライセンスのSilero VADモデルをバンドルしています。

Sources