Swift Diffusers for Mac 1.1 发布

Hugging Face 已发布 Diffusers for Mac 1.1 版,这是一款原生应用,可在 macOS 上实现快速的本地文本到图像生成。通过将社区贡献的扩散模型转换为 Core ML,应用在 Apple Silicon 的 CPU、GPU 和神经引擎(ANE)之间实现性能优化。

Core ML 集成与原生性能

Diffusers for Mac 提供了 Python‑based diffusers 库的原生替代方案。Python 库使用 PyTorch 的 mps 加速器,而原生应用则利用 Core ML,后者具备以下技术优势:

  • 硬件编排: Core ML 能够在 CPU、GPU 和神经引擎之间同时分配模型工作负载。相比之下,PyTorch 的 mps 设备无法使用神经引擎。
  • 本地执行: 所有图像生成均在用户机器本地完成,确保数据隐私,并且无需云端积分或排队等待。
  • 原生用户体验: 应用使用 Swift 和 SwiftUI 构建,遵循 Apple 的设计指南,无需命令行界面或虚拟环境管理。

性能基准与硬件优化

在 1.1 版中,文本到图像的生成速度可根据硬件配置提升至原来的两倍。不同 Apple Silicon 芯片的表现差异显著:

  • 标准 M1 处理器: 这些设备(例如 Mac Mini)在使用 Apple 神经引擎(ANE)时比使用 GPU 快两倍。
  • M1 Max: 在高端芯片如 M1 Max 上,由于 GPU 与 CPU 性能核心数量远高于神经引擎,GPU 生成速度明显快于 ANE。
  • 内存影响: 基准测试表明系统内存大小(如 8 GB 与 16 GB)对生成性能影响不大,主要驱动因素是 CPU 与 GPU 核心数量。

基准数据汇总

模型名称 M1 8 GB (ANE) M1 16 GB (ANE) M2 24 GB (ANE) M1 Max 64 GB (GPU)
Stable Diffusion 1.5 18.8 18.7 13.1 9
Stable Diffusion 2 Base 14.5 14.4 10.5 8.3
Stable Diffusion 2.1 Base 14.3 14.3 10.5 8.3
small-stable-diffusion-v0 12.3 12.7 9.1 6.3

版本 1.1 包含启发式算法,可根据检测到的硬件自动选择最佳加速器。

1.1 版功能更新

除了性能优化外,1.1 版还引入了多项用户体验和功能改进:

  • 生成控制: 用户现在可以调节 guidance scale、取消正在进行的生成,并可选择关闭安全检查器。
  • 工作流增强: 应用新增模型下载指示器,并提供快捷方式以复用上一次生成的种子,实现迭代微调。
  • 教育提示: 新增信息帮助解释各种生成设置的作用,使非技术用户也能更容易上手。

未来路线图

Hugging Face 计划通过以下方式进一步扩展 Apple 生态系统的能力:

  • 模型访问扩展: 实现更便捷地从 Hugging Face Hub 获取更多微调或 Dreambooth 模型。
  • 平台扩展: 开发 iOS 与 iPadOS 版本的应用。

Sources