TEN-framework/ten-vad

해결하는 문제

TEN VAD는 엔터프라이즈급 대화형 AI를 위해 설계된 실시간 음성 활동 감지 (VAD) 시스템입니다. 사용자가 말하는 시점과 침묵 또는 배경 소음이 있는 시점을 정확하게 식별하는 문제를 해결하며, 특히 엔드투엔드 응답 지연 시간을 줄이고 인간-에이전트 상호작용에서 턴 감지 정확도를 향상시키는 것을 목표로 합니다.

작동 원리

TEN VAD는 16kHz 오디오 입력에 대해 프레임 단위의 음성 활동 감지를 제공합니다. 경량 아키텍처를 사용하여 사전 빌드된 동적 라이브러리나 ONNX 모델을 통해 배포할 수 있습니다. 시스템은 오디오 프레임(10ms 또는 16ms와 같은 구성 가능한 홉 크기)을 처리하고, 조정 가능한 임계값을 기반으로 확률과 이진 지표(음성 또는 비음성)를 출력합니다.

대상 사용자

이 도구는 서버 (Linux, Windows, macOS) 및 엣지 디바이스 (Android, iOS, Web via WASM)를 포함한 다양한 플랫폼에서 실행할 수 있는 고성능, 저지연 VAD가 필요한 대화형 음성 AI 에이전트 개발자를 위해 설계되었습니다.

주요 특징

• 높은 정확도: 수동으로 주석이 달린 테스트 세트에서 WebRTC VAD 및 Silero VAD보다 뛰어난 성능을 발휘합니다.
• 낮은 지연 시간: 음성에서 비음성으로의 전환을 신속하게 감지하여 에이전트 응답 지연을 줄입니다.
• 경량화: Silero VAD에 비해 계산 복잡도(RTF)가 현저히 낮고 라이브러리 크기가 작습니다(웹에서 최소 277KB).
• 광범위한 호환성: Python, C, Java, Go, JavaScript (WASM)를 지원하며 여러 운영 체제 및 하드웨어 아키텍처에서 작동합니다.