dimastatz/whisper-flow

解决的问题

Whisper Flow 将 OpenAI 的 Whisper 模型从批处理工具转变为实时语音转写服务。它解决了需要等待整个音频文件上传并处理完成后才能获得转录结果的问题，使应用程序能够实现即时、流式语音转文字功能。

工作原理

该项目使用「滑动窗口」技术，处理以连续数据包或「块」形式传输的流式音频数据。它根据自然的语音模式（如停顿或说话人切换）将音频流分割为多个段落。在音频处理过程中，服务会返回一系列不断更新的中间转录事件，直到最终段落完成为止。

适用人群

希望使用 Whisper 模型将实时、低延迟语音转文字功能集成到软件中的开发者，以及需要一个 Python 库来管理流式音频会话的用户。

主要亮点

• 实时流式处理：立即将音频块转换为文本，而非批量处理文件。
• 低延迟：在 M1 Mac 硬件上实测延迟低于 500ms。
• 灵活部署：可通过 WebSockets 作为独立的 FastAPI 服务器运行，或作为 Python 库集成到项目中。
• 支持 PCM 音频：专为 16 kHz 单声道 16 位有符号整数音频数据设计。