whisper.cpp: OpenAIのWhisperをオフライン・デバイス上で動作させるための高性能C/C++実装

解決する課題

whisper.cppは、OpenAIのWhisper自動音声認識（ASR）モデルの、高性能かつ軽量な実装を提供します。これにより、ユーザーは完全にオフラインかつデバイス上で音声からテキストへの文字起こしを実行でき、重い依存関係やクラウドベースのAPIを必要としなくなります。

仕組み

このプロジェクトは純粋なC/C++で記述されており、推論にはggml機械学習ライブラリを活用しています。速度を最大限に引き出すため、Apple Silicon（MetalおよびCore ML経由）、NVIDIA GPU（CUDA経由）、AMD GPU（ROCm経由）、Vulkan、OpenVINO、および各種CPU命令セット（AVX, NEON, VSX）を含む、幅広いハードウェアアクセラレーションをサポートしています。

対象ユーザー

iOS、Android、Windows、Linux、macOS、およびWebAssemblyを含む多様なプラットフォームのアプリケーションに、外部サーバーに依存することなく高品質な音声認識を統合したい開発者およびユーザー。

ハイライト

• ゼロ・ランタイム・メモリ割り当て: 効率性と速度のために最適化されています。
• 幅広いハードウェアサポート: ほぼすべての主要なGPUおよびNPUアーキテクチャに対してネイティブなアクセラレーションを提供します。
• 整数量子化: 小さなデバイス向けにメモリとディスクのフットプリントを削減します。
• クロスプラットフォーム: ハイエンドGPUからRaspberry Piやモバイルフォンまで、あらゆる環境で動作します。
• リアルタイム機能: 継続的なマイク入力の文字起こしを行うための例が含まれています。