johnbean393/Sidekick

What it solves

Sidekick은 로컬 퍼스트 macOS AI 어시스턴트로, 데이터를 안전하게 오프라인에 보관하면서 LLM과 채팅할 수 있습니다. 프라이버시 문제와 소프트웨어 설치 장벽을 해결하고, 내장된 추론 엔진을 제공하여 외부 소프트웨어나 클라우드 기반 처리를 필요로 하지 않고도 사용자의 파일, 폴더, 웹사이트와 상호작용할 수 있게 합니다.

How it works

Sidekick은 내장 llama.cpp 백엔드를 사용해 Apple Silicon에서 최신 GGUF 로컬 모델(예: Qwen 2.5)을 실행합니다. Retrieval Augmented Generation(RAG)을 활용해 사용자가 정의한 “전문가”(파일 및 웹사이트 컬렉션)에서 자료를 가져와 인용과 함께 근거 있는 답변을 제공합니다. 또한 원격 모델을 통합하고 싶은 사용자를 위해 OpenAI 호환 API도 지원합니다.

Who it’s for

Apple Silicon(최소 8GB RAM) 탑재 Mac 사용자로, 클라우드에 의존하지 않고 프라이빗하고 컨텍스트 인식이 가능한 AI 어시스턴트를 원하며, 연구, 로컬 문서 분석 및 콘텐츠 생성을 수행하고자 하는 분들을 위한 제품입니다.

Highlights

• Local-First RAG: 설정 가능한 “전문가”를 통해 파일, 폴더, 웹사이트에 접근하여 인용이 포함된 답변을 제공합니다.
• Agentic Capabilities: 수학/논리 작업을 위한 함수 호출을 지원하고, 다단계·장기 연구 작업을 위한 “Deep Research” 에이전트를 제공합니다.
• Llama.cpp Backend: Apple Silicon에 최적화되어 있으며, 추측 디코딩을 통해 더 빠른 생성이 가능합니다.
• Multimodal Features: CoreML 이미지 생성(macOS 15.2+)과 코드 및 웹사이트를 편집·미리볼 수 있는 “Canvas”를 내장합니다.
• Memory: 대화 간에 선호도와 세부 정보를 기억하여 개인화된 응답을 제공합니다.
• Advanced Rendering: 수학은 네이티브 LaTeX으로, 표는 자동 데이터 시각화로 표시합니다.