johnbean393/Sidekick

A native macOS app that allows users to chat with a local LLM that can respond with information from files, folders and websites on your Mac without installing any other software. Powered by llama.cpp.

What it solves

Sidekick 是一个本地优先的 macOS AI 助手，允许用户在保持数据安全且离线的情况下与 LLM 对话。它解决了隐私顾虑和软件安装障碍的问题，提供内置的推理引擎，让用户能够与自己的文件、文件夹和网站交互，无需外部软件或云端处理。

How it works

Sidekick 使用内置的 llama.cpp 后端，在 Apple Silicon 上运行现代 GGUF 本地模型（如 Qwen 2.5）。它采用检索增强生成（RAG）从用户自定义的“专家”（文件和网站集合）中获取并引用材料，以提供带有引用的可靠答案。它还支持 OpenAI 兼容的 API，供想要集成远程模型的用户使用。

Who it’s for

拥有 Apple Silicon（最低 8GB RAM）的 Mac 用户，想要一个私密、具上下文感知的 AI 助手，能够进行研究、分析本地文档并生成内容，而不依赖云端。

Highlights

  • Local-First RAG：通过可配置的“专家”访问文件、文件夹和网站，提供带引用的答案。
  • Agentic Capabilities：支持函数调用以执行数学/逻辑任务，并提供“Deep Research”代理人，处理多步骤、长时程的研究任务。
  • Llama.cpp Backend：为 Apple Silicon 优化，支持投机解码以加快生成速度。
  • Multimodal Features：内置 CoreML 图像生成（macOS 15.2+）和“Canvas”功能，可编辑和预览代码与网站。
  • Memory：在对话之间记住偏好和细节，提供个性化响应。
  • Advanced Rendering：原生 LaTeX 数学显示和自动数据可视化表格。