alesaccoia/VoiceStreamAI

Near-Realtime audio transcription using self-hosted Whisper and WebSocket in Python/JS

解决的问题

VoiceStreamAI 提供了一种通过从 Web 浏览器向服务器流式传输音频来实现近实时音频转写的方法。它通过使用语音活动检测 (VAD) 来确保仅对实际语音进行转写，从而减少计算负载和网络带宽，解决了高效处理连续音频流的挑战。

工作原理

该系统由基于 Python 的服务器和通过 WebSockets 通信的 JavaScript 客户端组成。客户端捕获音频并将其以分块 (chunk) 形式发送到服务器。服务器使用模块化流水线来处理这些音频：

  1. 语音活动检测 (VAD)：使用 Silero 或 Pyannote 等模型，服务器识别包含语音的音频段。
  2. 转写：系统使用自动语音识别 (ASR) 模型，默认为 faster-whisper（OpenAI Whisper 的高性能版本），将检测到的语音转换为文本。
  3. 缓冲策略：为了防止单词在分块边界处被切断，系统采用了 "SilenceAtEndOfChunk" 策略，即在触发转写之前等待语音停顿。

适用对象

寻求构建需要实时语音转文本功能的应用程序的开发人员，这些应用需要灵活的模块化架构，允许更换不同的 VAD 和 ASR 模型。

亮点

  • 模块化设计：使用工厂模式和策略模式来轻松集成新的 VAD 和 ASR 技术。
  • 实时流传输：利用 WebSockets 实现客户端与服务器之间的低延迟通信。
  • 高效处理：集成 VAD 可最大限度地减少非语音音频的处理，节省 GPU/CPU 资源。
  • 可定制性：客户端可以通过 JSON 消息动态配置语言、分块长度和处理策略。

相关

  • 项目
    dimastatz/whisper-flow

    一个基于 OpenAI Whisper 的实时转写服务，通过流式处理而非批量处理，提供低延迟的语音转文字功能。

  • 项目
    collabora/WhisperLive

    WhisperLive 是一个基于 OpenAI Whisper 模型的开源近实时语音转录服务器。支持多种推理后端（faster-whisper、NVIDIA TensorRT、Intel OpenVINO、AMD ROCm），提供单词级时间戳、热词增强、说话人分离和可选翻译功能，并提供简单的命令行客户端和 Python 流式 API。提供 GPU 和 CPU 部署的 Docker 镜像，浏览器和 iOS 扩展可让你直接从网页或移动设备转录音频。

  • 项目
    huggingface/speech-to-speech

    Speech‑to‑Speech 是 Hugging Face 的开源管道，将语音输入转换为语音输出。它串联 VAD → STT → LLM → TTS，每个组件均可替换（Silero VAD、Parakeet/Faster‑Whisper/Whisper STT、任何 OpenAI 兼容 LLM 或本地 Transformers/MLX 模型、Qwen3‑TTS 或其他 TTS 后端）。整个系统通过 WebSocket/WebRTC 实现 OpenAI Realtime 协议，因此现有的 OpenAI Agents SDK 代码可直接使用。通过单个 `pip install speech-to-speech` 安装后，运行 `speech-to-speech serve`（服务器）和 `speech-to-speech talk`（客户端）或 `speech-to-speech local`（两者一起）。支持纯本地运行、本地/托管 LLM 混合、Docker 部署，以及可选扩展以使用替代 TTS/STT 模型。专为语音助手机器人（如 Reachy Mini）和低延迟语音 AI 应用设计。

  • 项目
    KoljaB/RealtimeSTT

    一个集成了语音活动检测、唤醒词和快速转录功能的 Python 语音转文本库，可简化语音助手和语音输入工具的集成。

  • 项目
    m-bain/whisperX

    通过批处理推理、词级时间戳和说话人日志功能增强 OpenAI Whisper 的快速自动语音识别系统。