StayLameBro/backburner

解决的问题

Backburner 解决了在消费级设备上本地运行大型语言模型 (LLM) 的硬件限制。它允许用户通过将计算负载和内存需求分配到 Mac 以及通过高速 USB-C 连接的一台或多台 iPhone 或 iPad 上，来运行单台设备无法承载的大型模型。

工作原理

该项目使用 llama.cpp 的自定义分支，将模型层拆分到 Mac 和连接的 iOS 设备之间。在预填充 (prefill) 阶段，Mac 处理初始层，而 iPhone 则在其 GPU 上处理剩余层。对于长上下文任务，iPhone 充当外部内存存储，保存旧的键值 (KV) 页，并利用其 GPU 和 Neural Engine 对其进行注意力计算。该系统确保最终输出与在单台性能足够强大的机器上运行模型的结果完全一致。

适用人群

本项目面向那些希望在缺乏足够统一内存或 GPU 算力的 Apple 硬件上本地运行大型、高上下文 LLM（如 Qwen3.8-27B）的高级用户和开发者。它专为拥有 Apple Silicon Mac 和较新 iPhone（15 Pro 或更高版本）或 iPad，且熟悉命令行工具和侧载应用的用户设计。

亮点

• 增加上下文容量： 能够在原本限制为 64k 或更低的设备上运行高达 128k–140k 上下文长度的模型。
• 更快的预填充： 通过在 Mac 和 iPhone 之间流水线化层计算来加速提示词处理，减少 20–44% 的等待时间。
• Neural Engine 集成： 利用 iPhone 的 Neural Engine 优化缓存上下文的注意力计算，进一步提升性能。
• 无损推理： 保证模型输出与单机推理的 token 完全一致。
• 可扩展架构： 设计旨在最终支持由 Mac、PC 和移动设备组成的分布式网络，以运行更大的模型。