ggml-org/whisper.cpp
Port of OpenAI's Whisper model in C/C++
What it solves
whisper.cpp は OpenAI Whisper 自動音声認識（ASR）モデルの高性能で軽量な実装を提供します。ユーザーは音声からテキストへの文字起こしを完全にオフラインかつデバイス上で実行でき、重い依存関係やクラウド API を必要としません。
How it works
本プロジェクトはプレーンな C/C++ で記述され、推論には ggml 機械学習ライブラリを利用しています。Apple Silicon（Metal と Core ML 経由）、NVIDIA GPU（CUDA 経由）、AMD GPU（ROCm 経由）、Vulkan、OpenVINO、そして各種 CPU Intrinsics（AVX、NEON、VSX）など、幅広いハードウェアアクセラレーションをサポートし、速度を最大化します。
Who it’s for
iOS、Android、Windows、Linux、macOS、WebAssembly など多様なプラットフォームで、高品質な音声認識を外部サーバーに依存せずにアプリに組み込みたい開発者やユーザー向けです。
Highlights
- Zero runtime memory allocations: Optimized for efficiency and speed.
- Broad hardware support: Native acceleration for almost all major GPU and NPU architectures.
- Integer quantization: Reduces memory and disk footprint for smaller devices.
- Cross-platform: Runs on everything from high-end GPUs to Raspberry Pi and mobile phones.
- Real-time capabilities: Includes examples for continuous microphone input transcription.