johnbean393/Sidekick

解決する課題

Sidekickは、macOS向けのローカルファーストAIアシスタントで、データを安全かつオフラインに保ちながらLLMとチャットできます。クラウドAIに伴うプライバシー問題を解決し、個別の推論ソフトウェアをインストールせずに、個人のファイル、フォルダ、ウェブサイトをAIのコンテキストとして統合する方法を提供します。

仕組み

Sidekickは、内蔵のllama.cppバックエンドを使用して、Apple Silicon上でGGUFローカルモデル（Qwen 2.5など）を直接実行します。ユーザー定義の「エキスパート」（ファイルとウェブサイトのコレクション）から関連情報を取得するために、検索拡張生成（RAG）を採用し、直接の引用と参照で質問に回答します。また、リモートモデルを使用したいユーザー向けに、OpenAI互換APIもサポートしています。

対象ユーザー

ドキュメントの調査、関数呼び出しによるタスクの自動化、ローカルでの画像生成ができる、プライベートでコンテキストを考慮したAIアシスタントを求めるMacユーザー。

ハイライト

• ローカルファースト推論： Apple Silicon上で高速生成を実現する内蔵llama.cpp。投機的デコードもサポート。
• RAGを活用したエキスパート： リソースをテーマ別コレクションに整理し、AIがページ番号や引用を参照可能。
• ディープリサーチエージェント： 数十のウェブページを読み込み、包括的な調査レポートを合成できる専用エージェント。
• 関数呼び出し： メールの下書きやCSVからの財務指標の計算など、ローカルアクションを実行可能。
• キャンバス： 選択的編集機能を備えたウェブサイトやコードの作成、編集、プレビューができるインタラクティブ領域。
• マルチモーダル機能： CoreML（macOS 15.2以降）による自動画像生成、ネイティブなLaTeXおよびデータ可視化レンダリング。
• 永続メモリ： 異なる会話間でユーザーの好みやプロジェクトの詳細を記憶。