yazinsai/tilawa

何を解決するか

Tilawa は、デバイス上で完全に実行されるリアルタイムのコーラン朗読認識を提供します。推論時にネットワーク接続を必要としないため、開発者は特定のスーラおよびアーヤ（聖句）に音声入力をマッピングできる音声認識機能を統合できます。

動作方法

このプロジェクトは ONNX Runtime を使用して、ウェブ、モバイル（React Native）、Node.js で機械学習モデルをローカルで実行します。主に2つのエンジンを提供しています：

• Zipformer：デフォルトのストリーミングエンジンで、タジウィード・フォネム語彙を使用して継続的な認識を実現します。
• FastConformer：ワンショットの転写や、生のアラビア語テキスト出力に使用される代替エンジンです。

両エンジンとも 16 kHz のモノラル音声を処理し、verse_match（聖句が確信を持って識別されたとき）や word_progress（単語レベルの同期）などのイベントを発行します。

対象ユーザー

オフライン、低レイテンシの音声認識、聖句の追跡、朗読の補正機能を必要とするコーランアプリを開発する開発者向けです。

特徴

• 完全にデバイス内：推論時にネットワーク接続は不要です。
• ネイティブ依存なし：コアライブラリは純粋な TypeScript で、ターゲットプラットフォームの ONNX ランタイムのみが必要です。
• リアルタイムストリーミング：feed() メソッドを介してストリーミング音声入力をサポートします。
• 朗読補正：構造ルールに基づいてスキップされたアーヤや置換された単語を検出する「補正モード」を含んでいます。
• クロスプラットフォーム：ブラウザ、Node.js、React Native と互換性があります。