Apple 基础模型框架:一个 Swift API 同时支持端侧与服务器 LLM
Apple 的基础模型框架是一个原生 Swift API,用于将大型语言模型集成到应用中,其核心特点是统一:同一个 API 可访问 Apple 的端侧基础模型、在 Private Cloud Compute 上运行的 Apple 基础模型,以及第三方服务器模型(如 Claude 和 Gemini)。对于 iOS 和 macOS 开发者来说,这意味着引导生成、工具调用、图像理解和动态会话配置都是框架功能,而非每个提供商的单独集成。
什么是基础模型框架
基础模型框架是一个原生 Swift API,用于将任何大型语言模型集成到应用中,包括直接访问端侧和 Private Cloud Compute 中的 Apple 基础模型。Apple 将其描述为“在应用中使用任何大型语言模型的最佳方式”,定位用于从快速摘要到动态代理的各种任务。
框架内置的功能包括:
- 引导生成
- 工具调用
- 图像理解
- 动态配置文件
模型支持:端侧、Private Cloud Compute 和第三方服务器
该框架让开发者可以直接访问 Apple Intelligence 核心的端侧基础模型,Apple 称其智能、私密且无需互联网连接即可运行。端侧模型可覆盖许多任务,但 Apple 也承认,对于更复杂的工作流程,有时需要更大的模型。
这一缺口通过将框架扩展到服务器模型(如 Claude、Gemini 等)来解决,使用相同的 Swift API,并完全支持工具调用和引导生成。扩展机制是一个协议:任何模型提供商都可以发布一个符合 Language Model 协议的 Swift 包,Apple 将其描述为框架的基本组成部分,让开发者可以为应用选择合适的语言模型。
Private Cloud Compute 和小型开发者的免费访问
Apple 基础模型也可以在 Private Cloud Compute (PCC) 上运行。已加入 App Store 小型企业计划且首次 App Store 下载量少于两百万次的开发者,可以免费访问在 Private Cloud Compute 上运行的 Apple 基础模型,无需云 API 费用。Apple 表示,这提供了前沿级别的智能,并带有隐私保护,用户数据不会被存储或供 Apple 或任何其他人访问。
图像理解
多模态提示允许应用将图像与文本一起传递,以便模型理解视觉内容。Apple 描述这种集成就像在提示中附加图像一样简单。Vision 框架也直接集成,为模型提供专用工具,如用于精确文本提取的 OCR 和用于快速扫码的条形码阅读器,全部在端侧运行。
动态配置文件:在会话中切换模型
动态配置文件是声明式 API,用于在会话过程中持续更新模型、工具和指令。开发者无需创建固定配置的会话,而是定义配置文件——每个配置文件有自己的模型、温度、推理级别和工具集——并在一个连续会话中切换。会话记录在所有配置文件切换之间共享,因此应用可以积累上下文智能,减少提示次数。Apple 将动态配置文件描述为 AI 代理、技能或其他高级抽象的可适应构建块。
评估框架
评估框架用于测试提示并验证智能功能在动态条件下是否正确工作,超越了单元测试所能捕获的范围。Apple 将其定位为迭代指令、切换模型或调整动态配置文件的工具,让开发者可以在发布前确认行为保持正确。
fm 命令行工具
macOS 27 中新增的 fm 命令行工具让开发者可以编写脚本、自动化模型工作流程,并在不编写应用代码的情况下进行原型设计。Apple 将其描述为从想法到实现的快速路径。
开源包
Apple 随框架发布了两个开源项目:
- Foundation Models 框架工具包在框架之上添加了实验性抽象,包括自定义技能、上下文管理助手,以及连接到您选择的主机模型的 Chat Completions 客户端。
- 用于 Python 的 Foundation Models SDK 将框架扩展到 Python 生态系统,以便与流行的 Python 工具和评估包集成。
要求和监管说明
Apple 发布了基础模型框架的可接受使用要求,概述了 Apple 基础模型的禁止用途。此外,根据 AI 法案第 53(1)(b) 条,Apple 向打算将 AFM 3 Cloud 集成到其 AI 系统中的 AI 系统提供商提供信息和文档。
开发者讨论内容
关于该框架的 Hacker News 讨论串规模较小(22 条评论),在实践经验与开放问题之间混合。几位评论者指出了他们认为未被充分报道的 Apple 相关工作。
一位评论者强调了 Apple 的 CoreAI 仓库,该公司正在调整开放权重模型以原生运行 Swift:
我实际上认为他们的 CoreAI 项目有点被忽视了。但他们在 https://github.com/apple/coreai-models 有一个仓库,正在将大量开放权重模型调整到他们的格式,以便用 Swift 原生运行。
讨论串中最实质性的问题是 Private Cloud Compute 的优惠是否等同于免费推理。引用 Apple 的资格条款,一位评论者问道:
这是免费令牌吗?这听起来像是免费令牌?
Apple 链接的 PCC 页面指出,在 Apple Intelligence 可用的地方,符合条件的开发者可以在 App Store 分发的应用中使用 PCC,并通过 TestFlight 或 ad hoc 分发测试 PCC 功能,测试期间的安装不计入首次应用下载。
在实践方面,一位开发者报告说在终端中使用本地模型来纠正错误和建议命令,并表示这些模型“在 m1 8gb 上出人意料地强大”——他们称这是本地 AI 需要运行的最小机器。另一位开发者说他们一直在名为 Noodle 的应用中使用 Foundation Models,并且喜欢使用它,但尚未探索 Private Cloud Compute,推测特殊权限目前可能仅限于 Siri 桌面应用。
一位评论者指出,Anthropic 已经通过 ClaudeForFoundationModels 仓库支持 Foundation Models 的 App Attest 数月,并表示惊讶 Anthropic 没有更多推广这一点,补充说 Firebase 一直是无需复杂设置即可从 iOS 应用直接调用 LLM 的最实用方式。
讨论串留下的开放问题
讨论中的三个问题在源材料中仍未得到解答:
- Private Cloud Compute 的配额是否实际上等同于符合条件的开发者的免费令牌使用。
- 是否可以通过此框架使用 Claude 或 ChatGPT 的非 API 消费者计划。
- 端侧模型是否足够强大,可以作为编码预测器,例如在 Zed 这样的编辑器中。
一位评论者还问为什么该页面当时出现在 Hacker News 上,询问它是否收到了更新——这提醒我们,该框架的功能是逐步推出的,而不是一次性发布。