OHF-Voice/wyoming-faster-whisper

Wyoming protocol server for faster whisper speech to text system

解决的问题

该项目提供了一个实现 Wyoming 协议的服务器,可使用 faster-whisper 系统实现语音转文本(STT)功能。它特别解决了 STT 模型误听自定义名称(如特定智能家居设备名称)的问题,允许模型根据从 Home Assistant 实例获取的名称进行偏置。

工作原理

该服务器充当 Wyoming 协议与 STT 后端(如 faster-whisperqwen3-asr)之间的桥梁。它可以连接到 Home Assistant API,获取对话中公开的实体、区域和楼层列表。这些名称随后作为提示输入模型,以提高对这些特定术语的转录准确性。为保持性能,它会根据名称在命令中使用的可能性进行优先级排序(例如,先处理包含公开实体的区域,再处理灯光、风扇等特定设备域)。

适用人群

使用 Home Assistant 和 Wyoming 协议,希望在本地运行高性能语音转文本服务,并提升其特定家庭自动化环境中转录准确性的用户。

特色亮点

  • Home Assistant 集成:自动同步实体名称和别名,以偏置 STT 模型。
  • 灵活的后端支持:支持 faster-whisperqwen3-asr 后端。
  • 硬件加速:提供 NVIDIA GPU 专用的 GPU 启用 Docker 镜像,以提升转录速度。
  • 高效提示机制:实现基于优先级的系统,确保最相关名称在模型的令牌预算内。
  • 多种部署选项:可作为 Home Assistant 插件、独立 Docker 容器或本地 Python 安装使用。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目