FluidInference/FluidAudio
Frontier CoreML audio models in your apps — text-to-speech, speech-to-text, voice activity detection, and speaker diarization. In Swift, powered by SOTA open source.
解決する課題
FluidAudio は、Apple ハードウェア向けのオンデバイスで低遅延の音声機能を提供します。アプリは、音声の文字起こし、音声合成、発話検出、話者分離、音声のクリーンアップを、クラウドにデータを送信することなく実行できます。
仕組み
この SDK は、Apple の Neural Engine（ANE）向けに変換および最適化された CoreML モデルへの Swift バインディングを提供します。モデルには、数十言語の自動音声認識（ASR）、逆テキスト正規化、テキスト読み上げ、音声活動検出、話者ダイアライゼーション、話者埋め込み抽出、および音響エコー/ノイズ抑制が含まれます。開発者は、数回の Swift 呼び出しで必要な機能を追加できます。重い処理は ANE 上で実行されるため、CPU 使用率を低く抑え、プライバシーを保護します。
対象読者
- プライバシー優先の音声アシスタント、ディクテーションツール、会議メモアプリ、または高速なオフライン音声処理を必要とするアプリを構築する iOS/macOS 開発者。
- クラウド API に依存せずに音声 AI を製品に組み込みたい企業。
- Apple Silicon 上で最先端のオーディオモデルを実行することに興味がある研究者。
ハイライト
- ASR モデル（Parakeet、SenseVoice、Paraformer）は、25 以上のヨーロッパ言語、日本語、中国語、およびストリーミングリアルタイム文字起こしをサポートします。
- 話された数字を数字に変換するための組み込みの逆テキスト正規化。
- 多言語 TTS モデル（Kokoro、PocketTTS、Chatterbox）は、SSML 制御と音声クローニングを備えています。
- 話者認識アプリケーションのためのリアルタイム話者ダイアライゼーションと埋め込み抽出。
- 約 16 ミリ秒の遅延で動作する音声活動検出とエコー/ノイズ抑制。
- すべてのモデルは ANE 上で実行され、消費電力が最小限で推論が高速です。
- オープンソースのモデルウェイトは、寛容なライセンスの下で Hugging Face でホストされています。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト