collabora/WhisperLive

해결하는 문제

WhisperLive는 OpenAI의 Whisper 모델 기반의 거의 실시간 실시간 음성 인식 시스템을 제공합니다. 최소한의 지연으로 음성을 텍스트로 변환하는 문제를 해결하며, 마이크에서 오는 라이브 오디오, RTSP/HLS 스트림, 또는 사전 녹음된 파일의 오디오를 말하는 순간 바로 텍스트로 변환할 수 있습니다.

작동 방식

이 프로젝트는 클라이언트-서버 아키텍처를 구현합니다. 서버는 AI 모델 추론의 대부분을 처리하고, 클라이언트는 오디오 데이터를 전송합니다. faster_whisper, tensorrt (NVIDIA), openvino (Intel), 그리고 CTranslate2를 통한 AMD ROCm을 포함한 여러 고성능 추론 백엔드를 지원합니다. 서버는 여러 동시 클라이언트를 처리할 수 있으며, GPU 처리량을 높이기 위한 배치 추론 모드도 제공합니다.

대상 사용자

이 도구는 실시간 음성-텍스트 애플리케이션을 개발하는 개발자들을 위한 것입니다. 예를 들어, 실시간 자막, 음성 제어 인터페이스, 스트리밍 음성 인식 서비스 등이 있습니다. 또한 엔드유저를 위한 브라우저 확장 프로그램과 iOS 클라이언트도 제공합니다.

주요 특징

• 다중 백엔드 지원: NVIDIA GPU( TensorRT), Intel CPU/GPU(OpenVINO), AMD GPU(ROCm)에 최적화되어 있습니다.
• 고급 음성 인식 기능: 단어 수준 타임스탬프, 사용자 정의 어휘 강화(핫워드), pyannote.audio를 사용한 화자 분리 기능이 포함되어 있습니다.
• 유연한 입력 소스: 라이브 마이크 입력, 오디오 파일, 네트워크 스트림(RTSP/HLS)을 지원합니다.
• 스트리밍 클라이언트: 어떤 사용자 정의 소스에서든 원시 PCM 오디오 바이트를 전송하기 위한 전용 StreamingTranscriptionClient가 있습니다.
• 배포 옵션: 다양한 하드웨어 구성에 맞는 Docker 컨테이너로 제공됩니다.