pengzhendong/streaming-sensevoice

Pseudo Streaming SenseVoice with Hotwords

解决的问题

它通过使用 SenseVoice 模型分块处理推理,实现了实时的流式语音转文字。这消除了在接收文本输出前必须等待整个音频文件处理完毕的需求。

运作原理

此项目围绕 SenseVoice 模型实现了一个流式封装器。它提供了三种处理音频的方式:处理预先录制的 wav 文件、直接从麦克风捕获音频,以及利用 WebSocket 服务(使用 FastAPI 构建)将 MP3 格式的音频分块从浏览器传输到服务器,以实现低延迟的转录。

目标对象

希望使用 SenseVoice 模型将实时语音转文字功能集成到应用程序中的开发者。

特色亮点

  • 来自麦克风输入的实时转录。
  • 用于浏览器音频流的基于 WebSocket 的服务器。
  • 支持 wav 文件转录。
  • 与 Recorder 库集成以实现高效的音频传输。

相关

  • 项目
  • 项目
  • 项目
  • 项目