moonshine: リアルタイム対話型エージェントのための低遅延オンデバイス音声ツールキット

何を解決するか

Moonshine Voiceは、リアルタイム音声エージェントやアプリケーションを構築する開発者向けに設計されています。OpenAIのWhisperのような従来の音声文字起こし（STT）モデルが抱える、大きな入力ウィンドウの必要性やストリーミング音声に対するキャッシュ機能の欠如による、高い遅延とリソースの非効率性という課題に対処します。Moonshineは、クラウドAPIや外部アカウントを必要とせず、レスポンシブでライブな音声インターフェースを可能にする、高速でプライベートなオンデバイス・ソリューションを提供します。

仕組み

Moonshineは、さまざまなプラットフォームで高いパフォーマンスを発揮するために、OnnxRuntimeを搭載したポータブルなC++コアライブラリを使用しています。柔軟な入力ウィンドウとストリーミング用のキャッシュ機能を備え、ゼロからトレーニングされた一連のモデルを特徴としており、これによりユーザーが話している間にモデルが音声を増分的に処理することが可能になります。このツールキットは、マイクキャプチャ、音声活動検知（VAD）、音声文字起こし（STT）、話者識別、および意図認識といった音声インターフェースの複数のステージを単一のライブラリに統合しています。また、テキスト読み上げ（TTS）や対話型エージェントのための高レベルAPIも提供しています。

対象者

Python、iOS、Android、MacOS、Linux、Windows、Raspberry Pi、さらにはマイクロコントローラやウェアラブルデバイスを含む、幅広いプラットフォームで音声駆動型アプリケーションを構築する開発者。

ハイライト

• 低遅延: キャッシュと柔軟な入力ウィンドウを備えたライブストリーミング向けに最適化されており、200ms未満のレスポンス性を確保します。
• オンデバイス処理: プライバシーと速度のために完全にローカルで動作し、APIキーやクレジットカードの必要性を排除します。
• 高精度: 英語のMedium Streamingモデルは、大幅に少ないパラメータ数（250M対1.5B）でありながら、単語誤り率（WER）においてWhisper Large v3を上回ります。
• C++コア: 単一のポータブルなコアにより、同じライブラリをモバイル、デスクトップ、およびIoTデバイス上で実行できます。
• 多言語サポート: 英語、スペイン語、中国語、韓国語、ベトナム語、ウクライナ語、アラビア語を含む複数の言語に特化したモデルを提供します。
• 包括的なツールキット: 文字起こし、TTS、ボイスクローニング、および意図認識の組み込みサポートが含まれています。