apple/python-apple-fm-sdk

解决的问题

此 SDK 为 Apple 的 Foundation Models 框架提供了 Python 风格的接口，让开发者能够访问驱动 macOS 上 Apple Intelligence 的设备端基础模型。它简化了执行推理与评估模型功能的流程，无需编写 Swift 代码。

运作方式

它作为底层基于 Swift 的 Foundation Models 框架的 Python 绑定。开发者可以使用 SystemLanguageModel 来访问设备端模型，并使用 LanguageModelSession 来管理交互。该 SDK 支持异步文本生成与“引导式生成”(guided generation)，开发者可以使用 Python 装饰器 (如 @fm.generable) 与约束条件，强制模型输出符合特定 Python 类结构的数据。

目标对象

为 macOS 进行开发，并希望将 Apple Intelligence 的设备端功能集成至应用程序，或对模型输出进行质量分析的 Python 开发者。

特色亮点

• 设备端推理：在 macOS 上于本地执行模型，确保隐私与速度。
• 引导式生成：使用类型安全的回应与结构化输出架构，确保模型回传特定格式的数据。
• 实时流式传输：支持流式文本生成回应。
• 批次推理：通过执行批次处理并从 Python 分析结果，实现应用程序功能的评估。