mudler/parakeet.cpp

何を解決するか

parakeet.cpp は NVIDIA の NeMo Parakeet 話音認識モデルの高性能 C++ 推論ポートです。推論時に Python ランタイムを必要としないため、CPU および GPU 上で自動音声認識（ASR）を高速かつ依存関係の少ない方法で実行できます。

動作方法

ggml ライブラリに基づいて構築されており、さまざまな Parakeet モデルファミリー（CTC、RNNT、TDT、およびハイブリッド TDT-CTC）の推論ロジックを実装しています。GGUF 形式のモデルをサポートしており、提供されたスクリプトを使って NeMo チェックポイントから変換できます。メモリ使用量を削減し、速度を向上させるために量子化（f16、q8_0、q4_k など）をサポートし、特定のモデル向けに終話検出（EOU）を備えたキャッシュ対応ストリーミングモードも提供しています。

対象ユーザー

Python を使いたくない、または最大限の CPU/GPU 性能と低メモリオーバーヘッドを必要とする本番環境で NVIDIA Parakeet ASR モデルをデプロイしたい開発者やエンジニア向けです。

特徴

• 高性能: CPU および GPU ともに NeMo の PyTorch ランタイムよりも高速で、バイト単位で同一の出力テキストを生成します。
• 広範なモデル対応: オフライン Parakeet ファミリーをすべてカバーし、多言語対応、プロンプト条件付きストリーミングモデルもサポートします。
• 低依存: C++17 で記述されており、推論時に Python を必要としません。
• 柔軟なデプロイ: CLI、OpenAI 互換 HTTP サーバー、および C-API を提供し、他のアプリケーションに直接統合可能です。
• ハードウェアアクセラレーション: ggml を通じて CUDA、Metal、Vulkan、CPU バックエンドをサポートします。
• バッチ処理: GPU 上でスループットを大幅に向上させるためのオプトインバッチデコードパスを備えています。