johnbean393/Sidekick

它解决了什么问题

Sidekick 是一个以本地优先的 macOS AI 助手，让用户能与 LLM 聊天，同时确保数据安全且离线。它解决了与云 AI 相关的隐私问题，提供一种方式，将个人文件、文件夹和网站整合为 AI 的上下文，而无需安装单独的推理软件。

它的工作原理

Sidekick 使用内置的 llama.cpp 后端，直接在 Apple Silicon 上运行 GGUF 本地模型（例如 Qwen 2.5）。它采用检索增强生成（RAG）从用户定义的“专家”（文件和网站的集合）中提取相关信息，以直接引用和参考来回答问题。它也支持兼容 OpenAI 的 API，供想要使用远程模型的用户使用。

适合谁使用

适合想要一个私密、具备上下文感知能力的 AI 助手，能研究文档、通过函数调用自动化任务，并在本地生成图像的 Mac 用户。

重点特色

• 本地优先推理： 内置 llama.cpp，在 Apple Silicon 上快速生成，并支持推测解码。
• RAG 驱动的专家： 将资源组织成主题集合，AI 可引用页码和引文。
• 深度研究代理： 一个专门的代理，能阅读数十个网页，综合出全面的研究报告。
• 函数调用： 能执行本地操作，例如起草电子邮件或从 CSV 计算财务指标。
• 画布： 一个互动区域，用于创建、编辑和预览网站与代码，并具备选择性编辑能力。
• 多模态能力： 通过 CoreML（在 macOS 15.2 以上）自动生成图像，以及原生 LaTeX 和数据可视化渲染。
• 持久记忆： 记住用户的偏好和不同对话中的项目细节。