k2-fsa/sherpa-onnx

解決する課題

本プロジェクトは、さまざまなデバイス上で音声およびオーディオ処理モデルをローカルで実行するための、包括的かつ高性能なツールキットを提供します。音声認識、音声合成、話者識別といったタスクを、コンシューマー向けハードウェア、モバイルデバイス、組み込みシステム上で直接実行可能にすることで、クラウドベースのAPIへの依存を排除します。

仕組み

ONNX Runtime を活用し、多様なハードウェアアーキテクチャ全体で事前学習済みのオーディオモデルを実行します。幅広いプログラミング言語とオペレーティングシステムをサポートしているため、デスクトップソフトウェアやモバイルアプリから、組み込みシステム、さらには WebAssembly を介した Web ブラウザまで、あらゆるアプリケーションに高度な音声AI機能を統合できます。

対象ユーザー

リソースが制限された環境や、データがデバイス内に留まる必要があるプライバシー重視のアプリケーションで、音声AIモデル（ASR、TTS、VADなど）をデプロイする必要がある開発者やエンジニア向けです。Android、iOS、Windows、Linux、および特殊な NPU ハードウェアを含む、クロスプラットフォームの互換性を重視する方に特に適しています。

ハイライト

• 音声認識（ストリーミングおよび非ストリーミング）、音声合成、話者ダイアライゼーション、キーワードスポッティングなど、幅広いオーディオタスクをサポート。
• 移植性が高く、多数のプログラミング言語（C++、Python、Java、Go、Rust、Swift など）とプラットフォーム（Android、iOS、WebAssembly など）をサポート。
• さまざまな NPU（Rockchip、Qualcomm、Intel など）や、Raspberry Pi、NVIDIA Jetson などのエッジデバイスを含む、多様なハードウェア向けに最適化。
• モバイルおよびデスクトップ環境向けの豊富な事前学習済みモデルと、すぐに使えるデモアプリケーションを提供。