Arthur-Ficial/apfel

The free AI already on your Mac. CLI tool, OpenAI-compatible server, and interactive chat — all on-device via Apple Intelligence. No API keys, no cloud, no downloads.

解決的問題

apfel 提供了一種透過 Apple FoundationModels 存取 Apple Silicon Mac 內建大型語言模型 (LLM) 的方法。它將此本地模型轉換為可用的 UNIX 工具與本地 OpenAI 相容伺服器，讓使用者在保持所有數據 100% 保留在本地的同時，避免使用 API 金鑰、雲端依賴與相關費用。

工作原理

該專案充當 FoundationModels.SystemLanguageModel 的橋樑。它提供三個主要介面：

  • UNIX Tool： 一個命令列介面 (CLI)，支援管道輸入、附加檔案（包括透過本地 OCR/提取獲取的 PDF 與圖像）以及生成 JSON 或僅程式碼的輸出。
  • OpenAI 相容伺服器： 一個本地 HTTP 伺服器 (http://localhost:11434/v1)，允許現有的 OpenAI SDK 與工具使用本地 Apple 模型作為後端。
  • 互動式 REPL： 用於測試提示詞與工具的聊天模式 (apfel --chat)。

它還支援 Model Context Protocol (MCP)，允許 LLM 發現並呼叫外部工具（本地或遠端）。

適用對象

想要在本地執行 AI、將 AI 整合至 Shell 腳本中，或希望用免費、私密的本地替代方案取代雲端 LLM API 的 Apple Silicon (M1+) 搭載 macOS 26 Tahoe+ 的開發者與進階使用者。

亮點

  • 100% 本地運行： 無需雲端，無需 API 金鑰，實現完全隱私。
  • OpenAI API 相容性： 透過本地伺服器實現 OpenAI SDK 的即插即用替換。
  • MCP 工具支援： 與 Model Context Protocol 伺服器整合以擴展功能。
  • 檔案整合： 原生支援在提示詞中附加 PDF、圖像與文字檔案。
  • JSON/Schema 引導生成： 為腳本編寫提供保證符合 Schema 驗證的 JSON 輸出。
  • 支援管道操作： 遵循 UNIX 哲學設計，支援串流與管道輸入/輸出。