jxlarrea/voice-satellite-card-integration

해결하는 문제

Voice Satellite는 태블릿, 스마트폰, 컴퓨터의 어떤 웹 브라우저라도 Home Assistant용 손을 떼고 사용할 수 있는 개인 정보 보호 기능이 있는 음성 어시스턴트로 전환합니다. Alexa나 Google Home과 같은 전용 하드웨어가 필요 없으며, 브라우저를 갖춘 모든 기기로 음성 활성화된 서브시스템을 구현할 수 있습니다. 기기 제어, 질문 답변, 알림 수신 등이 가능합니다.

작동 방식

이 프로젝트는 모든 Home Assistant 페이지에 로드되는 글로벌 엔진으로 작동합니다. 브라우저에 서브시스템 엔티티가 할당되면, 웨이크워드를 듣기 시작합니다. 세 가지 온디바이스 웨이크워드 감지 엔진을 지원합니다:

• vsWakeWord: 벽에 고정된 태블릿과 원거리 음성 캡처에 특화된 WebGPU 가속 엔진.
• microWakeWord: 모든 기기에서 낮은 지연 시간으로 작동하는 CPU 기반 엔진.
• openWakeWord: 광범위한 사전 학습된 키워드 라이브러리를 갖춘 WebGPU 가속 엔진.

웨이크워드가 감지되면, 브라우저는 오디오를 Home Assistant의 Assist 파이프라인(STT, 대화 에이전트, TTS)으로 스트리밍합니다. 시스템은 브라우저를 media_player 엔티티로 노출하여, 오디오, 비디오, 카메라 스트림을 전체 화면으로 재생할 수 있게 합니다.

대상 사용자

기존 태블릿이나 스마트폰을 사용해 집안 전체에 음성 제어를 구현하고자 하는 Home Assistant 사용자, 특히 벽걸이 키오스크를 사용하는 사용자.

주요 기능

• 온디바이스 웨이크워드 감지: 하드웨어 성능과 호환성의 균형을 맞추기 위한 세 가지 다른 엔진.
• 이중 웨이크워드: 동시에 두 개의 다른 웨이크워드를 로드할 수 있으며, 각각 별도의 Assist 파이프라인으로 라우팅 가능.
• 미디어 통합: 로컬 비디오, HLS/MJPEG 카메라 스트림, TTS 오디오의 전체 화면 재생.
• 사용자 정의 시각 요소: 10개의 내장 스킨과 음성 오버레이 및 활동 바에 대한 CSS 오버라이드 지원.
• Kiosk Satellite 보조 앱: Android 앱으로 웨이크워드 감지가 네이티브로 실행되어 화면이 꺼져 있어도 마이크가 작동 가능.
• LLM 도구 지원: 도구 기능을 갖춘 LLM과 연동하면 날씨, 주식, 위키백과 등 풍부한 시각적 결과를 인라인으로 표시하는 실험적 기능.