sosoj92/jarvis-assistant-vocal

해결하는 문제

Jarvis는 홈 자동화, PC 제어, 개인 생산성을 위한 중앙 허브 역할을 하도록 설계된 로컬 음성 비서입니다. 하드웨어(조명, OBS, PC 상태), 웹 서비스(Gmail, Google Calendar, Instagram), 복잡한 워크플로(웹 예약, 콘텐츠 제작 파이프라인)에 대한 음성 활성화 제어를 단일 자연어 인터페이스로 통합하여 여러 분산된 앱의 필요성을 제거합니다.

작동 방식

Jarvis는 모듈식 파이프라인을 사용합니다. 로컬 웨이크 워드 감지기(openWakeWord)가 로컬 전사 엔진(faster-whisper)을 트리거하고, 이 엔진이 요청을 구성 가능한 LLM에 전송합니다. 시스템은 세 가지 운영 모드를 지원합니다: Hybrid(일상 작업은 클라우드, 백그라운드는 로컬), Quality(고성능 클라우드 모델), Local(Ollama를 통한 100% 오프라인).

보안을 손상시키지 않고 복잡한 추론을 처리하기 위해 Jarvis는 심층 연구와 사고를 Hermes(별도의 로컬 심의 에이전트)에 위임합니다. Jarvis는 "몸"(작업 실행 및 API 키)을 유지하고 Hermes는 "뇌"(분석 및 초안 작성)를 제공합니다. 시스템은 네트워크 오디오 위성(예: Raspberry Pi)을 통해 확장할 수 있어 긴 케이블 없이 다른 방에서 음성 액세스를 제공할 수 있습니다.

대상 사용자

Windows 11 환경과 스마트 홈을 제어할 수 있는 고도로 사용자 정의 가능하고 개인 정보 보호에 중점을 둔 음성 비서를 원하는 사용자, 그리고 간단한 데코레이터 기반 시스템을 통해 자체 도구를 추가할 수 있는 확장 가능한 프레임워크를 찾는 개발자.

주요 기능

• 다중 모달 제어: 음성, 화면 비전(오류/텍스트 캡처), 웹캠 기반 손 제스처를 PC 및 미디어 제어에 통합.
• 광범위한 도구: Philips Hue, OBS, Google Calendar, Gmail, Discord, Instagram, 전화 통화용 Twilio에 대한 내장 통합.
• 웹 자동화: Playwright와 Chrome CDP를 사용하여 활성 탭 요약, 브라우저 탭 관리, 실제 웹 예약 수행.
• 단계적 보안: N1/N2/N3 권한 수준을 구현하여 중요한 작업(이메일 전송 또는 PC 종료 등)에 명시적 음성 확인이 필요하도록 함.
• 유연한 배포: 단일 PC 또는 헤드리스 서버에서 실행할 수 있으며 오디오 및 디스플레이용 원격 "메인 스테이션"과 결합 가능.
• 로컬 우선 옵션: Ollama와 Piper 또는 Kokoro와 같은 로컬 TTS 엔진을 사용한 완전 오프라인 운영 지원.