absadiki/pywhispercpp

Python bindings for whisper.cpp

解决的问题

为 whisper.cpp 提供简单且符合 Python 风格的 API，使开发者无需直接与底层 C++ 实现交互，即可将高性能语音转文字功能集成到 Python 应用中。

工作原理

该项目作为 whisper.cpp 引擎的 Python 绑定。用户可以加载模型（自动下载或本地提供），并通过 ffmpeg 将音频文件（如 .wav 或 .mp3）转录为文本段。支持多种硬件加速后端，包括 NVIDIA CUDA、CoreML、Vulkan、OpenBLAS 和 OpenVINO。

适用人群

  • Python 开发者：希望在使用 whisper.cpp 高效性的同时，享受 Python 的易用性。
  • AI 助手构建者：使用项目内置的助手示例和语音活动检测（VAD）开发语音激活工具的开发者。
  • 终端用户：希望使用简单 CLI 或 GUI 工具转录音频文件的人。

主要亮点

  • 多后端支持：兼容 CUDA、CoreML、Vulkan、OpenBLAS 和 OpenVINO，实现性能优化。
  • Python 风格 API：提供简单的 Model 类进行转录，支持自定义回调函数以实现实时处理。
  • 全面的工具链：包含命令行界面（CLI）、基于 PyQt5 的图形用户界面（GUI）以及语音助手示例。
  • 直接访问 C-API：高级用户可通过 _pywhispercpp 模块访问暴露的 C-API。

相关

  • 项目
    openai/whisper

    Whisper 是 OpenAI 开发的基于 Transformer 的开源语音转文本系统，可处理多种语言的转录、语言识别和翻译。它作为一个可通过 pip 安装的包发布，提供六种模型大小（tiny → large，以及快速的 “turbo” 版本）。通过 CLI (`whisper …`) 和简单的 Python API (`whisper.load_model(...).transcribe(...)`)，只需少量命令即可将音频文件转换为文本。该项目运行在 Python 3.8-3.11 和 PyTorch 上，并且需要 ffmpeg（可选需要 Rust 用于分词器）。所有代码和模型权重均采用 MIT 许可。

  • 项目
    sandrohanea/whisper.net

    通过 whisper.cpp 提供 OpenAI Whisper 的 .NET 绑定，让 .NET 应用程序能够在广泛的硬件加速支持下实现本地语音转文本和翻译。

  • 项目
    Uberi/speech_recognition

    一个为语音识别提供统一接口的 Python 库，支持 OpenAI Whisper、Google Speech 和 Vosk 等多种在线和离线引擎。

  • 项目
    innovatorved/whisper.api

    一个由 whisper.cpp 提供驱动、高性能的语音转文字 API，且与 Deepgram 兼容，方便进行集成。

  • 项目
    collabora/WhisperLive

    WhisperLive 是一个基于 OpenAI Whisper 模型的开源近实时语音转录服务器。支持多种推理后端（faster-whisper、NVIDIA TensorRT、Intel OpenVINO、AMD ROCm），提供单词级时间戳、热词增强、说话人分离和可选翻译功能，并提供简单的命令行客户端和 Python 流式 API。提供 GPU 和 CPU 部署的 Docker 镜像，浏览器和 iOS 扩展可让你直接从网页或移动设备转录音频。