collabora/WhisperLive

解决的问题

WhisperLive 基于 OpenAI 的 Whisper 模型，提供一个近乎实时的实时语音转写系统。它解决了以最小延迟将语音转换为文本的挑战，使麦克风、RTSP/HLS 流或预录制文件的实时音频能够边说边转写。

工作原理

该项目采用客户端-服务器架构。服务器负责处理 AI 模型推理的大部分工作，而客户端发送音频数据。它支持多种高性能推理后端，包括 faster_whisper、tensorrt（NVIDIA）、openvino（Intel），以及通过 CTranslate2 支持的 AMD ROCm。服务器可同时处理多个客户端，并提供批量推理模式以提高 GPU 吞吐量。

适用人群

该工具专为开发实时语音转文本应用的开发者设计，例如实时字幕、语音控制界面或流媒体转写服务。它还提供浏览器扩展和 iOS 客户端，供终端用户使用。

主要亮点

• 多后端支持：针对 NVIDIA GPU（TensorRT）、Intel CPU/GPU（OpenVINO）和 AMD GPU（ROCm）进行了优化。
• 高级转写功能：支持单词级时间戳、自定义词汇增强（热词）以及使用 pyannote.audio 实现的说话人分离。
• 灵活的输入源：支持实时麦克风输入、音频文件和网络流（RTSP/HLS）。
• 流式客户端：提供专用的 StreamingTranscriptionClient，可从任意自定义源推送原始 PCM 音频字节。
• 部署选项：提供适用于各种硬件配置的 Docker 容器。