isair/jarvis

해결하는 문제

Jarvis는 사용자의 컴퓨터에서 모든 AI 작업을 로컬로 처리하는 100% 개인 정보 보호형 오프라인 AI 음성 보조자입니다. 클라우드 기반 구독과 데이터 수확의 필요성을 제거하여, 회의실에 '세 번째 사람'이 있는 것처럼 작동합니다. 고정된 명령 기반 음성 보조자 문제를 해결하기 위해 대화 인식 기능을 제공하여, 각 대화 단계마다 웨이크워드를 요구하지 않고도 대화의 맥락을 이해할 수 있습니다.

작동 방식

Jarvis는 여러 로컬 AI 구성 요소를 결합하여 원활한 음성 인터페이스를 구현합니다:

• 음성 인식: Whisper(Windows에서는 CUDA 가속을 선택적으로 사용 가능)를 사용하여 음성을 텍스트로 변환합니다.
• LLM 오케스트레이션: Ollama 또는 OpenAI 호환 서버(LM Studio, Jan 등)와 같은 로컬 LLM 제공자와 통합하여 채팅 및 의도 분류를 수행합니다.
• LLM 의도 판단 모델: gemma4:e2b와 같은 작고 빠른 모델을 사용하여 에코 감지 및 쿼리 추출과 같은 실시간 작업을 처리합니다.
• 메모리 및 지식: 자기 조직화된 지식 그래프와 임베딩 기반 의미 검색을 활용하여 대화 간 무제한 메모리를 유지합니다.
• 도구 통합: Model Context Protocol(MCP)를 사용하여 외부 도구(GitHub, Slack, Home Assistant 등)에 연결하고, 임베딩 기반 라우터를 통해 시스템 성능 저하 없이 관련 도구를 선택합니다.
• 텍스트에서 음성: 기본적으로 Piper TTS를 사용하여 빠르고 로컬에서 음성 합성을 수행합니다.

대상 사용자

• 클라우드에 데이터를 전송하지 않고 강력한 AI 보조자를 원하는 개인정보 보호에 민감한 사용자.
• MCP를 통해 로컬 파일, 스마트 홈 및 기타 개발자 도구와 AI 보조자를 통합하고자 하는 고급 사용자.
• WisprFlow과 같은 서비스의 무료 대안으로 고품질 오프라인 녹음 도구를 찾는 사용자.

주요 특징

• 대화 인식: 지속적인 일시적 컨텍스트 창에서 맥락을 이해하고 대화에 자연스럽게 개입할 수 있습니다.
• 무제한 로컬 메모리: 지식 그래프와 메모리 뷰어 GUI를 통해 AI가 기억하는 내용을 추적할 수 있습니다.
• 개인 정보 보호 녹음 모드: 글로벌 핫키를 통해 어떤 애플리케이션에도 오프라인으로 음성 인식 결과를 붙여넣을 수 있습니다.
• MCP를 통한 확장성: 성능 저하 없이 무제한 도구를 Model Context Protocol을 통해 지원합니다.
• 자동 마스킹: 데이터를 디스크에 저장하기 전에 민감 정보를 자동으로 마스킹합니다.
• 적응형 톤: 주제에 따라 톤을 자동 조정합니다(예: 코드는 엄격한 톤, 웰빙은 격려하는 톤)