isair/jarvis

해결하는 문제

Jarvis는 개인용, 로컬 우선의 음성 보조자로, 방 안의 '세 번째 인물'처럼 작동합니다. 사용자가 다른 사람과 진행 중인 대화의 맥락을 포함한 자연스러운 음성 기반 대화를 할 수 있도록 하여 클라우드 구독과 지속적인 타이핑의 필요성을 제거합니다.

작동 방식

이 시스템은 사용자의 자체 하드웨어에서 음성 인식, 언어 모델, 음성 합성 기능을 실행합니다. 주변 음성을 일시적으로 롤링 전사하여 주어진 대화의 맥락을 이해한 후에 대응합니다. 장기 기억을 위해 의미 기반 검색 인덱스와 지식 그래프를 갖춘 로컬 데이터베이스를 사용합니다. Ollama, LM Studio, 또는 llama.cpp와 같은 로컬 모델 서버와 통합되며, 브라우저 자동화 및 스마트홈 제어를 위한 MCP 서버를 통해 기능을 확장할 수 있습니다.

대상 사용자

클라우드 기반 서비스보다 개인 정보 보호와 로컬 제어를 우선시하는 강력한 AI 보조자를 원하는 사용자, 또는 전통적인 채팅 인터페이스보다 음성 우선 상호작용을 선호하는 사용자에게 적합합니다.

주요 특징

• 로컬 우선 개인정보 보호: 음성 인식과 LLM이 사용자의 하드웨어에서 실행되며, 대화 메모리와 일기 내용은 로컬에 저장됩니다.
• 대화 맥락 인식: 최근 음성을 추적하여 진행 중인 대화에 참여할 수 있어, 방금 말한 내용을 기반으로 질문에 답할 수 있습니다.
• 확장 가능한 도구: 웹 검색, OCR, 영양 추적을 위한 내장 도구를 제공하며, MCP 서버를 통해 사용자 정의 통합을 지원합니다.
• 하이브리드 인터페이스: 음성 상호작용을 위한 애니메이션 데스크톱 존재감과 침묵 상태에서 타이핑을 위한 보조 채팅 창을 갖춥니다.
• 다중 플랫폼 지원: macOS, Windows, Linux에서 사용 가능합니다.