TEN-framework/ten-vad

解決する課題

TEN VAD は、エンタープライズグレードの会話型AI向けに設計されたリアルタイム音声活動検出 (VAD) システムです。ユーザーが話しているタイミングと、沈黙や背景ノイズがあるタイミングを正確に識別する問題を解決し、特にエンドツーエンドの応答遅延の削減と、人間とエージェントの対話におけるターン検出精度の向上を目指しています。

仕組み

TEN VAD は、16kHzの音声入力に対してフレームレベルの音声活動検出を提供します。軽量なアーキテクチャを採用しており、ビルド済みの動的ライブラリとして、または ONNX モデル経由でデプロイ可能です。システムは音声フレーム（10msや16msなどの設定可能なホップサイズ）を処理し、調整可能な閾値に基づいて確率とバイナリ指標（音声または非音声）を出力します。

対象ユーザー

このツールは、高性能で低遅延なVADを必要とし、サーバー (Linux, Windows, macOS) やエッジデバイス (Android, iOS, Web via WASM) を含むさまざまなプラットフォームで実行可能な会話型音声AIエージェントを構築する開発者向けに設計されています。

主な特徴

• 高精度: 手動でアノテーションされたテストセットにおいて、WebRTC VAD や Silero VAD を上回る性能を発揮します。
• 低遅延: 音声から非音声への遷移を迅速に検出し、エージェントの応答遅延を削減します。
• 軽量: Silero VAD と比較して、計算複雑性 (RTF) が大幅に低く、ライブラリサイズも小さい（Web上で最小277KB）。
• 幅広い互換性: Python, C, Java, Go, JavaScript (WASM) をサポートし、複数のオペレーティングシステムやハードウェアアーキテクチャに対応しています。