Arthur-Ficial/apfel

What it solves

apfel 提供了一种在 Apple Silicon Macs 上以命令行工具和本地服务器形式访问内置 Apple FoundationModels LLM 的方式。它通过将所有推理过程 100% 保留在设备端，消除了对云端 API、API 密钥以及互联网连接的需求。

How it works

该项目通过两个主要接口提供 SystemLanguageModel：

1. UNIX Tool: 一个支持管道 (piping) 输入、附加文件 (包括通过设备端 OCR/提取功能处理的 PDF 和图像) 以及生成结构化 JSON 输出的 CLI。
2. OpenAI-compatible Server: 一个本地 HTTP 服务器 (http://localhost:11434/v1)，允许现有的 OpenAI SDKs 和工具使用设备端模型作为后端。

它还支持 Model Context Protocol (MCP) 以附加外部工具，允许模型通过本地或远程 MCP 服务器执行诸如计算之类的动作。

Who it’s for

针对使用 Apple Silicon (M1+) 且运行 macOS 26 Tahoe+ 的开发者和高级用户，希望将私密、本地的 AI 集成到其 shell 脚本、工作流程或现有的 AI 应用中。

Highlights

• 100% On-Device: 推理不需要云端、API 密钥和网络。
• OpenAI Compatibility: 可直接替换 OpenAI 的 chat completions API。
• MCP Tool Support: 支持与 Model Context Protocol 服务器集成，以扩展功能。
• File Awareness: 原生支持附加 PDF 和图像，并具备设备端文本提取功能。
• Guided Generation: 通过 json_schema 支持保证架构有效的 JSON 输出。
• Shell-Friendly: 包含多种内置演示 (例如用于英文转 shell 命令的 cmd) 以及管道安全 (pipe-safe) 的输出模式。