snakers4/silero-vad

해결하는 문제

Silero VAD는 음성과 침묵 또는 배경 노이즈를 정확하게 식별하도록 설계된 사전 학습된 기업용 음성 활동 검출기(VAD)입니다. 엣지 디바이스 및 모바일 플랫폼을 포함한 다양한 하드웨어 환경에서 높은 성능과 이식성을 최적화했습니다.

작동 방식

이 프로젝트는 PyTorch 또는 ONNX Runtime에서 처리할 수 있는 사전 학습된 모델을 제공합니다. 8000 Hz 및 16000 Hz의 샘플링 속도를 지원하며, 30ms 이상의 오디오 청크를 단일 CPU 스레드에서 1ms 미만으로 처리할 수 있습니다. 모델은 가볍고(약 2MB), 6,000개 이상의 언어를 포함하는 대규모 데이터셋으로 학습되어 다양한 도메인과 노이즈 수준에서 강건성을 보장합니다.

대상 사용자

• 음성 인터페이스 및 음성 봇 개발자: 사용자가 말하는 순간을 감지하기 위해.
• IoT 및 엣지 디바이스 엔지니어: 제한된 하드웨어에서 가벼우면서도 고성능의 음성 감지 기능을 구현하기 위해.
• 데이터 과학자: 음성 외 세그먼트를 제거하여 오디오 데이터셋을 정제하고 준비하기 위해.
• 통신 및 콜센터 자동화 엔지니어: 음성 기반 상호작용을 자동화하기 위해.

주요 특징

• 높은 정확도: 음성 감지 작업에서 뛰어난 성능을 제공합니다.
• 높은 성능: CPU에서 청크당 1ms 미만의 매우 빠른 처리 시간을 제공하며, GPU 및 ONNX 가속을 선택적으로 사용할 수 있습니다.
• 광범위한 언어 지원: 6,000개 이상의 언어로 학습되어 글로벌 적용이 가능합니다.
• 매우 이식성 높음: PyTorch 및 ONNX와 호환되어 C++, Rust, Go, Java, C# 등 다양한 런타임과 언어에서 배포 가능합니다.
• 경량: 작고(~2MB) 배포가 용이합니다.
• 허용성 높은 라이선스: 텔레메트리 없이, 벤더 종속 없이 MIT 라이선스로 배포됩니다.