ggml-org/whisper.cpp
Port of OpenAI's Whisper model in C/C++
何を解決するか
whisper.cpp は OpenAI の Whisper 自動音声認識（ASR）モデルの高パフォーマンスで軽量な実装です。重い依存関係を必要とせずに、幅広いハードウェアプラットフォーム上で効率的かつオフライン、デバイス上で音声をテキストに変換できます。
動作方法
プレーンな C/C++ で構築されたこのプロジェクトは、推論処理に ggml 機械学習ライブラリを使用しています。ARM NEON や AVX などのハードウェア固有のインストラクションを活用してパフォーマンスを最適化し、NVIDIA GPU（CUDA）、AMD GPU（ROCm/HIP）、Vulkan、Apple Silicon（Metal/Core ML）、およびさまざまな NPU（AMD Ryzen AI、Ascend、OpenVINO）を含む幅広いアクセラレータをサポートしています。また、整数量子化をサポートすることでメモリとディスク使用量を削減できます。
対象ユーザー
ローカル、オフライン、またはリソース制約のあるデバイス（iPhone、Android フォン、Raspberry Pi、WebAssembly 環境など）で動作するアプリケーションに高品質な音声認識機能を統合したい開発者向けに設計されています。
特徴
- 依存関係ゼロの C/C++ 実装：既存のソフトウェアに簡単に移植・統合可能。
- 広範なハードウェアアクセラレーション：CUDA、ROCm、Metal、Vulkan、複数の NPU アーキテクチャをネイティブサポート。
- 極めて高いポータビリティ：macOS、iOS、Android、Linux、Windows、FreeBSD、WebAssembly で動作可能。
- メモリ効率が非常に高い：整数量子化をサポートし、実行時におけるメモリ割り当てをゼロに。
関連
- プロジェクト
openai/whisperWhisperは、多言語の文字起こし、言語識別、翻訳を処理するOpenAIのオープンソースのTransformerベースの音声対テキストシステムです。6つのモデルサイズ（tinyからlarge、および高速な「turbo」バリアント）を備えたpipインストール可能なパッケージとして提供されます。CLI (`whisper …`) とシンプルなPython API (`whisper.load_model(...).transcribe(...)`) を使用して、わずかなコマンドで音声ファイルをテキストに変換できます。このプロジェクトはPython 3.8-3.11、PyTorchで動作し、ffmpeg（およびオプションでトークナイザー用のRust）が必要です。すべてのコードとモデルの重みはMITライセンスです。
- プロジェクト
- プロジェクト
0xShug0/audio.cppaudio.cpp は、ggml をベースにしたネイティブ C++ 推論フレームワークで、TTS、音声クローン、ASR、話者分離、音源分離、音楽生成など、幅広いローカルオーディオモデルを実行できます。単一のバイナリで CPU および GPU (CUDA、AMD、Apple Silicon) 上で動作し、高速な GGUF 量子化モデルをサポートし、バッチおよびストリーミングモードを提供し、モデルを並べて比較するための Web UI を備えています。このプロジェクトは活発にメンテナンスされており、オープンソースであり、実際の運用環境へのデプロイを目的としています。
- プロジェクト
OpenWhispr/openwhisprOpenWhispr は、macOS/Windows/Linux で動作するクロスプラットフォームのオープンソースデスクトップアプリで、プライバシー最優先の音声→テキスト入力、話者分離付き会議音声認識、AIアシスタントインターフェースを提供します。ローカルの Whisper ベースモデルで完全オフラインで動作させることも、クラウドサービスに接続することも可能。ノート作成、意味ベース検索、チーム共有、拡張可能な公開 API を備えています。
- プロジェクト
mybigday/whisper.rnReact Native 用の whisper.cpp バインディング。Whisper および NVIDIA Parakeet モデルを使用して、iOS および Android 上でデバイス内音声認識（Speech-to-Text）を実現します。