ggml-org/whisper.cpp

Port of OpenAI's Whisper model in C/C++

解決的問題

whisper.cpp 是 OpenAI 的 Whisper 自動語音辨識（ASR）模型的高效率、輕量級實作。它能在不需繁重相依性的前提下，於廣泛的硬體平台實現高效、離線、設備端的音訊轉文字功能。

工作原理

此專案以純 C/C++ 編寫，使用 ggml 機器學習函式庫進行推論。透過硬體特定的內建指令（如 ARM NEON 和 AVX）優化效能，並支援多種加速器，包括 NVIDIA GPU（CUDA）、AMD GPU（ROCm/HIP）、Vulkan、Apple Silicon（Metal/Core ML），以及多種 NPU（AMD Ryzen AI、Ascend、OpenVINO）。同時支援整數量化，以減少記憶體與磁碟使用量。

適用對象

專為希望將高品質語音轉文字功能整合至本地運行、離線或資源受限裝置（如 iPhone、Android 手機、Raspberry Pi 及 WebAssembly 環境）之應用程式的開發者所設計。

主要亮點

  • 零相依性的 C/C++ 實作：易於移植並整合至現有軟體。
  • 廣泛的硬體加速支援：原生支援 CUDA、ROCm、Metal、Vulkan 及多種 NPU 架構。
  • 極高的可移植性：可在 macOS、iOS、Android、Linux、Windows、FreeBSD 及 WebAssembly 上執行。
  • 記憶體效率高：支援整數量化，執行時零記憶體配置。

相關

  • 專案
    openai/whisper

    Whisper 是 OpenAI 開發的基於 Transformer 的開源語音轉文字系統，可處理多種語言的轉錄、語言識別和翻譯。它作為一個可透過 pip 安裝的套件發布，提供六種模型大小（tiny → large，以及快速的 “turbo” 版本）。透過 CLI (`whisper …`) 和簡單的 Python API (`whisper.load_model(...).transcribe(...)`)，只需少量指令即可將音訊檔案轉換為文字。該專案運行在 Python 3.8-3.11 和 PyTorch 上，並且需要 ffmpeg（可選需要 Rust 用於分詞器）。所有程式碼和模型權重均採用 MIT 授權。

  • 專案
    sandrohanea/whisper.net

    透過 whisper.cpp 提供 OpenAI Whisper 的 Dotnet 綁定，讓 .NET 應用程式能實現高效率語音轉文字轉錄與翻譯。

  • 專案
    0xShug0/audio.cpp

    audio.cpp 是一個基於 ggml 的原生 C++ 推論框架，支援廣泛的本地音訊模型，包括 TTS、語音複製、ASR、說話者分離、音源分離、音樂生成等。它透過單一二進位檔案在 CPU 和 GPU (CUDA、AMD、Apple Silicon) 上執行，支援快速的 GGUF 量化模型，提供批次與串流模式，並包含用於模型並排比較的 Web UI。該專案持續維護且開源，旨在實現實際生產部署。

  • 專案
    OpenWhispr/openwhispr

    OpenWhispr 是一個跨平台（macOS/Windows/Linux）的開源桌面應用，提供以隱私為首要原則的語音轉文字、具說話人分離的會議轉錄以及 AI 助手介面。它可完全離線運行（使用本地 Whisper 基礎模型）或連接雲端服務，包含筆記、語意搜尋、團隊共享與可擴展的公開 API。

  • 專案
    mybigday/whisper.rn

    React Native 的 whisper.cpp 綁定，可在 iOS 和 Android 上使用 Whisper 和 NVIDIA Parakeet 模型實現裝置端語音轉文字功能。