alesaccoia/VoiceStreamAI

Near-Realtime audio transcription using self-hosted Whisper and WebSocket in Python/JS

解決的問題

VoiceStreamAI 提供了一種透過從 Web 瀏覽器向伺服器串流音訊來執行近實時音訊轉寫的方法。它透過使用語音活動檢測 (VAD) 來確保僅對實際語音進行轉寫，從而減少計算負載與網路頻寬，解決了高效處理連續音訊串流的挑戰。

工作原理

該系統由基於 Python 的伺服器與透過 WebSockets 通訊的 JavaScript 用戶端組成。用戶端擷取音訊並將其以分塊 (chunk) 形式傳送到伺服器。伺服器使用模組化流水線來處理這些音訊：

  1. 語音活動檢測 (VAD)：使用 Silero 或 Pyannote 等模型，伺服器識別包含語音的音訊段。
  2. 轉寫：系統使用自動語音識別 (ASR) 模型，預設為 faster-whisper（OpenAI Whisper 的高性能版本），將偵測到的語音轉換為文字。
  3. 緩衝策略：為了防止單字在分塊邊界處被切斷，系統採用了 "SilenceAtEndOfChunk" 策略，即在觸發轉寫之前等待語音停頓。

適用對象

尋求構建需要實時語音轉文字功能的應用程式的開發人員，這些應用程式需要靈活的模組化架構，允許更換不同的 VAD 與 ASR 模型。

亮點

  • 模組化設計：使用工廠模式與策略模式來輕鬆整合新的 VAD 與 ASR 技術。
  • 實時串流：利用 WebSockets 實現用戶端與伺服器之間的低延遲通訊。
  • 高效處理：整合 VAD 可最大限度地減少非語音音訊的處理，節省 GPU/CPU 資源。
  • 可定制性：用戶端可以透過 JSON 訊息動態配置語言、分塊長度與處理策略。

相關

  • 專案
    dimastatz/whisper-flow

    一個基於 OpenAI Whisper 的即時轉寫服務，透過串流處理而非批次處理，提供低延遲的語音轉文字功能。

  • 專案
    collabora/WhisperLive

    WhisperLive 是一個基於 OpenAI Whisper 模型的開源近即時語音轉錄伺服器。支援多種推論後端（faster-whisper、NVIDIA TensorRT、Intel OpenVINO、AMD ROCm），提供單字級時間戳、熱詞增強、說話人分離與可選翻譯功能，並提供簡單的命令列客戶端與 Python 流式 API。提供 GPU 與 CPU 部署的 Docker 鏡像，瀏覽器與 iOS 擴充功能可讓你直接從網頁或行動裝置轉錄音訊。

  • 專案
    huggingface/speech-to-speech

    Speech‑to‑Speech 是 Hugging Face 的開源管道，將語音輸入轉換為語音輸出。它串接 VAD → STT → LLM → TTS，每個元件均可替換（Silero VAD、Parakeet/Faster‑Whisper/Whisper STT、任何 OpenAI 相容 LLM 或本機 Transformers/MLX 模型、Qwen3‑TTS 或其他 TTS 後端）。整個系統透過 WebSocket/WebRTC 實作 OpenAI Realtime 協定，因此現有的 OpenAI Agents SDK 代碼可直接使用。透過單一 `pip install speech-to-speech` 安裝後，執行 `speech-to-speech serve`（伺服器）和 `speech-to-speech talk`（客戶端）或 `speech-to-speech local`（兩者一起）。支援純本機運行、本機/託管 LLM 混合、Docker 部署，以及可選擴充以使用替代 TTS/STT 模型。專為語音助手機器人（如 Reachy Mini）和低延遲語音 AI 應用設計。

  • 專案
    KoljaB/RealtimeSTT

    一個整合語音活動偵測、喚醒詞與快速轉錄功能的 Python 語音轉文字庫，可簡化語音助理與語音輸入工具的整合。

  • 專案
    m-bain/whisperX

    透過批次推理、詞級時間戳和說話人日誌功能增強 OpenAI Whisper 的快速自動語音辨識系統。