CrispStrobe/CrispASR

C++ ggml runtime hub for multilingual ASR and TTS models: Cohere Transcribe, Parakeet TDT, Voxtral, Canary 1B v2, etc, plus universal forced alignment, and more

何を解決するか

CrispASRは、自動音声認識（ASR）およびテキストから音声への変換（TTS）のための統合的で高パフォーマンスなC++エンジンを提供します。複雑なPython環境やPyTorch、または異なるモデル用に複数の別々のバイナリを必要とせず、1つのポータブル実行可能ファイルで数十の最先端のオープンウェイト音声モデルを実行できます。

動作方法

whisper.cppの拡張として構築されたCrispASRは、ggml C++ランタイムを使用して広範なASRおよびTTSアーキテクチャを実行します。OpenAI Whisper、NVIDIA Parakeet、Mistral Voxtralなど、多数のバックエンドをサポートしており、GGUFモデルファイルから必要なバックエンドを自動検出できます。このエンジンは非常にポータブルで、WebAssemblyにコンパイル可能で、ブラウザ上でクライアント側で実行でき、Python、Rust、Dart、Goなど複数の言語のバインディングも提供しています。

対象ユーザー

Python依存関係のオーバーヘッドなしに、効率的かつオフラインで音声認識および音声合成を必要とする開発者やユーザー向けに設計されています。特に、Flutterアプリ「CrisperWeaver」のようなクロスプラットフォームアプリの開発や、HTTP API経由での音声サービスのデプロイに役立ちます。

特徴

  • 膨大なモデル対応: 1つのバイナリに54のASRバックエンドと52のTTSエンジンを含みます。
  • Python依存なし: pip installやPyTorchの必要なしに、スタンドアロンのC++バイナリとして動作します。
  • 高いポータビリティ: Windows、macOS、Linux、およびブラウザベースの使用を想定したWebAssemblyをサポートします。
  • 柔軟なデプロイ: CLI、統合HTTPサーバー、およびさまざまなプログラミング環境向けの言語バインディングを提供します。
  • ハードウェアアクセラレーション: CUDA、HIP、Vulkan、Metal GPUアクセラレーションをネイティブでサポートしています。

関連

  • プロジェクト
    handy-computer/transcribe.cpp

    transcribe.cpp は、ggml 上で GGUF 形式を使用して、Metal、Vulkan、CUDA、ROCm、または tinyBLAS 加速 CPU バックエンドで、数十種類の現代的な STT モデル（Parakeet、Whisper、Qwen3-ASR、Voxtral など）を高速に実行するネイティブ C/C++ ライブラリです。リポジトリには CLI、量子化ツール、および公式の Python、TypeScript、Rust、Swift バインディングが含まれており、すべて MIT ライセンスで提供されています。

  • プロジェクト
    openai/whisper

    Whisperは、多言語の文字起こし、言語識別、翻訳を処理するOpenAIのオープンソースのTransformerベースの音声対テキストシステムです。6つのモデルサイズ（tinyからlarge、および高速な「turbo」バリアント）を備えたpipインストール可能なパッケージとして提供されます。CLI (`whisper …`) とシンプルなPython API (`whisper.load_model(...).transcribe(...)`) を使用して、わずかなコマンドで音声ファイルをテキストに変換できます。このプロジェクトはPython 3.8-3.11、PyTorchで動作し、ffmpeg（およびオプションでトークナイザー用のRust）が必要です。すべてのコードとモデルの重みはMITライセンスです。

  • プロジェクト
    ggml-org/whisper.cpp

    複数のプラットフォームで効率的かつオフラインで、デバイス上で動作するOpenAIのWhisperモデルの高パフォーマンスC/C++移植版。

  • プロジェクト
    ahmetoner/whisper-asr-webservice

    WhisperモデルをREST APIとしてラップし、容易なデプロイと統合を可能にする汎用音声認識ツールキット。

  • プロジェクト
    collabora/WhisperLive

    WhisperLiveは、OpenAIのWhisperモデルを基盤としたオープンソースのニアリアルタイム音声認識サーバーです。複数の推論バックエンド（faster-whisper、NVIDIA TensorRT、Intel OpenVINO、AMD ROCm）をサポートし、単語レベルのタイムスタンプ、ホットワード強調、話者分離、オプションの翻訳機能を提供。シンプルなコマンドラインクライアントとPythonストリーミングAPIを備え、GPUおよびCPU用のDockerイメージを提供。ブラウザやiOS拡張機能により、ウェブページやモバイルデバイスから直接音声を認識できます。