apfel: 一款適用於 Apple 內建裝置端 LLM 的 UNIX 工具與 OpenAI 相容伺服器

它解決了什麼問題

apfel 提供了一種存取 Apple Silicon Macs 上由 Apple FoundationModels 提供的內建大型語言模型 (LLM) 的方式。它將此裝置端 AI 轉換為可用的 UNIX 工具和本地 OpenAI 相容伺服器，從而無需 API 金鑰、雲端依賴以及網路連線。

運作原理

該專案充當 FoundationModels.SystemLanguageModel 的橋樑。它提供三個主要的介面：

1. UNIX 工具：一個命令列介面 (CLI)，允許使用者透過管線 (pipe) 傳遞文字、附加檔案（包括透過裝置端 OCR/擷取功能附加 PDF 和圖片），並直接在終端機中接收答案。
2. OpenAI 相容伺服器：一個本地 HTTP 伺服器 (http://localhost:11434/v1)，允許現有的 OpenAI SDKs 和工具將裝置端 Apple 模型作為後端使用。
3. 互動式 REPL：用於測試提示詞 (prompts) 和工具的聊天模式 (--chat)。

它還支援 Model Context Protocol (MCP)，允許 LLM 透過本地或遠端伺服器使用外部工具（例如計算機）。

對象是誰

在配備 Apple Silicon (M1+) 的 macOS 26 Tahoe+ 使用者中的開發人員和進階使用者，他們希望將 100% 私密、裝置端的 AI 能力整合到其 Shell 腳本、工作流程和本地應用程式中。

重點特色

• 100% 裝置端：無需雲端、無需 API 金鑰，且具備完全的隱私性。
• OpenAI API 相容性：支援 /v1/chat/completions，具備串流 (streaming)、JSON schema 強制執行以及工具呼叫 (tool calling)。
• 檔案整合：原生支援附加 PDF 和圖片以進行文字擷取與分析。
• MCP 支援：與 Model Context Protocol 伺服器整合，以擴展模型能力。
• 以 Shell 為先的設計：包含一系列示範（例如用於自然語言轉 Shell 命令的 cmd）以及對管線友善的輸出格式。