OHF-Voice/wyoming

Peer-to-peer protocol for voice assistants

何を解決するか

Wyoming は、音声アシスタントのコンポーネント間の通信を標準化するためのピアツーピアTCPプロトコルです。特定のソフトウェア実装にかかわらず、ウェークワード検出、音声認識(ASR)、テキスト音声変換(TTS)、意図処理などのさまざまなサービスがシームレスに通信できるようにします。

動作方法

このプロトコルは、ヘッダーにJSONL(JSON Lines)と、ペイロードに原始PCMオーディオを使用します。各メッセージは、JSONオブジェクトのヘッダー、オプションの追加データ、およびバイナリペイロードから構成されます。この構造により、TCP接続上でオーディオと制御イベントを効率的にストリーミングできます。

対象ユーザー

主にHome Assistantを使用している音声アシスタントやスマートホーム統合を開発する開発者向けです。オーディオハードウェア、音声認識モデル、合成エンジンを標準化された方法で接続する必要がある方々に適しています。

特徴

  • 包括的な音声パイプライン:ウェークワード検出、音声活動検出(VAD)、音声認識、意図認識、テキスト音声変換の完全な音声インタラクションループをサポート。
  • 標準化されたイベントフロー:トランスクリプションや合成などのサービスに明確なリクエスト-レスポンスパターンを定義し、ストリーミングをサポート。
  • モジュールアーキテクチャ:Faster Whisper、Piper、openWakeWordなどのさまざまなバックエンドプロジェクトを共通インターフェースで利用可能に。
  • 衛星サポート:リモート音声衛星の管理やサーバーサイドパイプラインのトリガーに特化したイベントを含む。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト