scouzi1966/maclocal-api

AFM – 面向 Apple Silicon 的本地 AI 基础设施

它是什么 – AFM（Apple Silicon Foundation Models）是一个基于 Swift 的原生服务器和 CLI，可将 Apple 芯片 Mac 变成私有的、兼容 OpenAI 的推理端点。它可以在设备上运行 Apple Foundation Models、Hugging Face MLX 模型或 DwarfStar 检查点，提供聊天、补全、嵌入、视觉 OCR、语音转文本、文本转语音和图像生成 API。

主要功能

• 兼容 OpenAI 的 HTTP API – /v1/chat/completions、/v1/completions、/v1/embeddings、视觉、音频、图像、批处理和指标端点。适用于任何期望 OpenAI 服务器的客户端（例如 OpenCode、Aider、Continue）。
• 原生 Swift 执行 – 无需 Python 运行时；服务器和 CLI 是编译后的 Swift 二进制文件，可直接在 macOS 上运行。
• 多种运行时 –
  • MLX 用于社区 Hugging Face 模型（量化、VLM、代理）。
  • Apple Foundation Models – 零下载系统模型，支持 LoRA 适配器。
  • DwarfStar – Metal 加速的检查点。
  • Gateway – 代理到其他本地服务器（Ollama、LM Studio 等）。
• 高级推理功能 – 前缀缓存、推测解码（MTP、Eagle3）、并发解码队列、令牌级 logprobs、结构化输出强制、工具调用格式、推理提取和详细的 Prometheus 指标。
• 丰富的 CLI / TUI – 全屏终端聊天，支持 Markdown、语法高亮代码、LaTeX 渲染、会话历史、转录导出和交互式覆盖层。
• Web UI – 内置基于浏览器的 UI，用于快速测试。
• 打包 – 通过 Homebrew、PyPI wheels 和 afm 二进制分发；也可作为 Swift 包（AFMKit*）用于直接嵌入到其他 macOS 应用中。

典型工作流程

1. 使用 Homebrew（brew install scouzi1966/afm/afm）或 pip（pip install macafm）安装。
2. 启动模型，例如 afm mlx -m Qwen3-0.6B-4bit -w（Web UI）或 afm --tui 进行终端聊天。
3. 服务器监听 http://127.0.0.1:9999/v1。将任何兼容 OpenAI 的客户端指向该 URL，并使用虚拟 API 密钥。
4. 使用 CLI 进行视觉、语音或嵌入（afm vision …、afm speech transcribe …）。
5. 对于生产级使用，通过 CLI 标志配置并发、缓存或推测解码。

适用人群

• 构建需要低延迟、设备端推理的 AI 代理或工具的开发者。
• 注重隐私、希望无需云密钥即可使用本地 LLM 服务器的用户。
• 希望通过 AFMKit Swift 包直接嵌入模型的 Swift/macOS 开发者。

了解更多

• 官方网站：https://maclocal.ai
• 文档：https://maclocal.ai/docs（客户端指南、工具调用、性能调优、路线图）
• 源代码：https://github.com/scouzi1966/maclocal-api（包括构建脚本、测试和 AFMKit 依赖）。

---

所有细节均直接取自仓库的 README。