jxlarrea/voice-satellite-card-integration

何を解決するか

Voice Satelliteは、タブレット、スマートフォン、コンピュータの任意のWebブラウザを、ホームアシスタント用の手放しでプライベートな音声アシスタントに変換します。AlexaやGoogle Homeのような専用の物理ハードウェアを必要とせず、ブラウザを持つ任意のデバイスが、デバイスの制御、質問の受け答え、お知らせの受信などに使える音声アクティベートされたサテライトとして機能します。

動作方法

このプロジェクトは、すべてのHome Assistantページにロードされるグローバルエンジンとして動作します。サテライトエンティティがブラウザに割り当てられると、ウェイクワードの検出を開始します。3つのオンデバイスウェイクワード検出エンジンをサポートしています：

• vsWakeWord: 壁掛けタブレットや遠方音声収集に特化して訓練された、WebGPU加速エンジン。
• microWakeWord: CPUベースのエンジンで、すべてのデバイスで低レイテンシで動作します。
• openWakeWord: 広範な事前学習キーワードライブラリを備えたWebGPU加速エンジン。

ウェイクワードが検出されると、ブラウザは音声をHome AssistantのAssistパイプライン（STT、会話エージェント、TTS）にストリーミングします。システムはまた、ブラウザをmedia_playerエンティティとして公開し、音声、動画、カメラストリームをフルスクリーンで再生できるようにします。

対象ユーザー

既存のタブレットやスマートフォンを使って、自宅全体に音声制御を展開したいHome Assistantユーザー、特に壁掛けキオスクを使用しているユーザー。

特徴

• オンデバイスウェイクワード検出: ハードウェアのパフォーマンスと互換性のバランスを取るための3つの異なるエンジン。
• 二重ウェイクワード: 同時に2つの異なるウェイクワードをロードでき、それぞれを別々のAssistパイプラインにルーティング可能。
• メディア統合: ローカル動画、HLS/MJPEGカメラストリーム、TTS音声のフルスクリーン再生。
• カスタマイズ可能なビジュアル: 10種類の組み込みスキンと、音声オーバーレイおよびアクティビティバーのCSSオーバーライドサポート。
• Kiosk Satellite補完アプリ: Androidアプリでウェイクワード検出をネイティブで実行可能。画面がオフになってもマイクが動作可能。
• LLMツールサポート: トール対応LLMと連携することで、天気、株価、Wikipediaなどの豊かなビジュアル結果をインラインで表示する実験的機能。