apfel: 一个适用于 Apple 内置端侧 LLM 的 UNIX 工具和 OpenAI 兼容服务器

它解决了什么问题

apfel 提供了一种访问 Apple Silicon Mac 上由 Apple FoundationModels 提供的内置大语言模型 (LLM) 的方法。它将这种端侧 AI 转换为一个可用的 UNIX 工具和一个本地 OpenAI 兼容服务器，从而消除了对 API 密钥、云端依赖和互联网连接的需求。

工作原理

该项目充当了通往 FoundationModels.SystemLanguageModel 的桥梁。它提供三个主要接口：

1. UNIX 工具：一个命令行界面 (CLI)，允许用户通过管道传输文本、附加文件（包括通过端侧 OCR/提取功能处理的 PDF 和图像），并直接在终端接收答案。
2. OpenAI 兼容服务器：一个本地 HTTP 服务器 (http://localhost:11434/v1)，允许现有的 OpenAI SDK 和工具将端侧 Apple 模型作为后端使用。
3. 交互式 REPL：用于测试提示词和工具的聊天模式 (--chat)。

它还支持模型上下文协议 (MCP)，允许 LLM 通过本地或远程服务器使用外部工具（例如计算器）。

适用人群

在配备 Apple Silicon (M1+) 的 macOS 26 Tahoe+ 设备上的开发者和高级用户，他们希望将 100% 私密的端侧 AI 能力集成到他们的 Shell 脚本、工作流和本地应用程序中。

亮点

• 100% 端侧运行：无需云端，无需 API 密钥，且具备完全的隐私保护。
• OpenAI API 对标：支持带有流式传输、JSON schema 强制执行和工具调用功能的 /v1/chat/completions。
• 文件集成：原生支持附加 PDF 和图像进行文本提取和分析。
• MCP 支持：与 Model Context Protocol 服务器集成，以扩展模型能力。
• Shell 优先设计：包含一系列演示（例如用于自然语言转 Shell 命令的 cmd）以及对管道友好的输出格式。