johnbean393/Sidekick

A native macOS app that allows users to chat with a local LLM that can respond with information from files, folders and websites on your Mac without installing any other software. Powered by llama.cpp.

What it solves

Sidekick はローカルファーストの macOS 用 AI アシスタントで、データを安全にオフラインで保持しながら LLM とチャットできます。プライバシーの懸念やソフトウェアインストールのハードルを解消し、組み込みの推論エンジンを提供することで、外部ソフトやクラウド処理を必要とせずに自分のファイル、フォルダー、ウェブサイトとやり取りできます。

How it works

Sidekick は組み込みの llama.cpp バックエンドを使用し、Apple Silicon 上で最新の GGUF ローカルモデル（例: Qwen 2.5）を実行します。Retrieval Augmented Generation（RAG）を利用して、ユーザーが定義した「エキスパート」（ファイルやウェブサイトのコレクション）から資料を取得・参照し、引用付きの根拠ある回答を提供します。また、リモートモデルを統合したい方向けに OpenAI 互換 API もサポートしています。

Who it’s for

Apple Silicon 搭載（最低 8GB RAM）Mac ユーザーで、クラウドに依存せずプライベートかつコンテキスト認識できる AI アシスタントを求め、リサーチやローカルドキュメントの分析、コンテンツ生成を行いたい方に最適です。

Highlights

  • Local-First RAG：設定可能な「エキスパート」を通じてファイル、フォルダー、ウェブサイトにアクセスし、引用付きの回答を提供。
  • Agentic Capabilities：数式・論理タスクの関数呼び出しをサポートし、マルチステップ・長期的なリサーチタスク向けの「Deep Research」エージェントを提供。
  • Llama.cpp Backend：Apple Silicon に最適化され、投機的デコーディングで高速生成を実現。
  • Multimodal Features：CoreML 画像生成（macOS 15.2+）とコードやウェブサイトを編集・プレビューできる「Canvas」を内蔵。
  • Memory：会話間で好みや詳細を記憶し、パーソナライズされた応答を実現。
  • Advanced Rendering：数式はネイティブ LaTeX、テーブルは自動データ可視化で表示。