drumih/turbo-fieldfare

Gemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook

解决的问题

TurboFieldfare 使得在仅有 8 GB 内存的 Apple Silicon Mac 上运行庞大的 260 亿参数 Gemma 4 模型成为可能。通常情况下，加载此类模型需要更多的内存；本项目通过按需从 SSD 流式传输必要的模型组件，绕过了这一限制。

工作原理

运行时不会将整个模型加载到内存中，而是将一个小核心和 KV cache 保留在 RAM 中。它使用自定义的 Swift 和 Metal 实现，动态获取并缓存每个 token 生成步骤所需的特定“专家”权重。它采用分块预填充（chunked prefill）来优化提示处理，并使用有界缓存策略在从磁盘流式传输数据时管理内存使用。

适用人群

本项目面向对端侧机器学习感兴趣的开发者和研究人员，特别是那些希望在资源受限的 Apple Silicon 硬件上运行大规模模型的用户。它非常适合想要尝试自定义 Metal 内核和内存高效推理技术的用户。

亮点

  • 在约 2 GB 的 RAM 预算内运行 26B Gemma 4 模型。
  • 包含原生 macOS 应用、CLI 以及兼容 OpenAI 的本地服务器。
  • 具有流式安装程序，可直接将模型权重重新打包为自定义格式，无需暂存完整的检查点。
  • 使用自定义 Metal 内核构建，支持量化操作、MoE (Mixture of Experts) 路由和高效注意力机制。
  • 在 M2 或更新的 Apple Silicon 芯片上，通过配套包支持可选的视觉功能。

相关

  • Dispatch
    TurboFieldfare：在 M 系列 Mac 上使用 2 GB RAM 运行 Gemma 4 26B

    TurboFieldfare 是一个开源的 Swift 与 Metal 运行时，通过从 SSD 流式传输专家（experts），使 Gemma 4 26B-A4B 模型在 Apple Silicon Mac 上仅使用约 2 GB RAM 运行。

  • Dispatch
    Swiftlet 在 Mac 和 iPhone 上以低 RAM 使用量启用 35B 和 80B Qwen 模型

    Swiftlet 通过从存储流式传输 Mixture‑of‑Experts 权重，使您能够在 iPhone 上使用约 2.5 GB RAM 运行 35B Qwen 模型，在 Mac 上使用约 4.3 GB RAM 运行 80B Qwen 模型。

  • Dispatch
    Gemma 4 发布：开源多模态模型，支持本地设备

    Gemma 4 是 Google DeepMind 推出的全新开源多模态系列，已在 Hugging Face 上发布，支持图像、音频、视频，拥有最高 256 K 上下文，并可在发布首日即与 transformers、llama.cpp、MLX、Rust 和 WebGPU 兼容。

  • 项目
    SharpAI/SwiftLM

    一个原生 Swift、OpenAI 兼容的推理服务器，用于 Apple Silicon 上的 MLX 模型，具有 TurboQuant（4 倍 KV 缓存压缩）、MTP 投机解码和用于大型 MoE 模型的 SSD 流式传输，并在 M 系列芯片上进行了广泛的基准测试。

  • Dispatch
    Swift Transformers 发布：在 Apple 设备上运行 On-Device LLMs

    Hugging Face 发布了 alpha版 swift-transformers Swift 包、swift-chat 演示应用、已更新的 exporters 和 transformers-to-coreml 工具，以及 Llama 2 7B 和 Falcon 7B 的 Core ML 版本，使开发者能够在 Apple 应用中运行设备端 LLMs。