johnbean393/Sidekick

A native macOS app that allows users to chat with a local LLM that can respond with information from files, folders and websites on your Mac without installing any other software. Powered by llama.cpp.

What it solves

Sidekick 是一個本地優先的 macOS AI 助手，允許使用者在保持資料安全且離線的情況下與 LLM 交談。它解決了隱私顧慮與軟體安裝障礙的問題，提供內建的推論引擎，讓使用者能與自己的檔案、資料夾與網站互動，無需外部軟體或雲端處理。

How it works

Sidekick 使用內建的 llama.cpp 後端，在 Apple Silicon 上執行現代 GGUF 本地模型（如 Qwen 2.5）。它採用檢索增強生成（RAG）從使用者自訂的「專家」（檔案與網站集合）中抓取並引用資料，以提供帶有引用的可靠答案。它也支援 OpenAI 相容的 API，供想要整合遠端模型的使用者使用。

Who it’s for

擁有 Apple Silicon（最低 8GB 記憶體）的 Mac 使用者，想要一個私密、具情境感知的 AI 助手，能執行研究、分析本地文件並產生內容，而不依賴雲端。

Highlights

  • Local-First RAG：透過可設定的「專家」存取檔案、資料夾與網站，提供帶引用的答案。
  • Agentic Capabilities：支援函式呼叫以執行數學/邏輯任務，並提供「Deep Research」代理人，處理多步驟、長期的研究任務。
  • Llama.cpp Backend：為 Apple Silicon 最佳化，支援投機解碼以加速生成。
  • Multimodal Features：內建 CoreML 圖像生成（macOS 15.2+）與「Canvas」功能，可編輯與預覽程式碼與網站。
  • Memory：在對話間記住偏好與細節，提供個人化回應。
  • Advanced Rendering：原生 LaTeX 數學顯示與自動資料視覺化表格。