Bonsai 27B 将 270 亿参数 AI 带到手机，采用 1‑位量化

Bonsai 27B 将 270 亿参数 AI 带到手机，采用 1 位量化

Bonsai 27B 将 270 亿参数模型放到手机上

要点： PrismML 发布了 Qwen 3.6 27B 模型的两种低位变体——三元（5.9 GB）和 1 位（3.9 GB），分别可在笔记本电脑和 iPhone 17 Pro 设备上运行，在 15 项基准测试中保留了全精度基线的 95% 和 90%。

两种硬件对应的运行点

结论： 三元变体面向注重质量的笔记本使用场景，而 1 位变体则符合现代智能手机的内存预算。

  • 三元 Bonsai 27B – 权重为三元 (-1, 0, +1) 并使用 FP16 组级缩放，实际每个权重 1.71 位。模型大小为 5.9 GB，可在普通笔记本上实现完整推理、工具调用和代理循环。
  • 1‑位 Bonsai 27B – 权重为二元 (-1, +1) 并使用相同的缩放，实际每个权重 1.125 位。体积为 3.9 GB，能够适配 iPhone 17 Pro 大约 4 GB 可用内存，成为首个能够完整在设备上运行的 27B 级模型。

两种变体均保持端到端的低位表示（嵌入、注意力、MLP、语言模型头），并配备紧凑的 4 位视觉塔，支持截图、文档、相机帧等多模态输入。

基准性能显示智能损失极小

结论： 在数学、编码、工具调用、指令遵循、知识与视觉任务上，Bonsai 27B 相较全精度 Qwen 3.6 27B 仅下降了少量分数。

类别 全精度 Qwen 3.6 27B 三元 Bonsai 27B 1‑位 Bonsai 27B
数学 95.3 93.4 91.7
编码 88.7 86.0 81.9
代理与工具调用 80.0 74.0 66.0
指令遵循 78.4 71.8 65.8
知识 / STEM 83.1 77.0 73.4
视觉 72.6 65.2 59.6
整体（15 项基准） 85.0 80.5 76.1

表格显示数学和编码分数下降不足 3 分，而工具调用的差距保持在 14 分以内——这对代理工作负载至关重要。作者指出，同一基模型的传统 4 位量化需要 2.5 倍的内存，并且得分显著低于 1 位 Bonsai 变体。

智能密度：每 GB 能力更强

结论： Bonsai 27B 的智能‑每‑GB 指标比全精度基线高出十倍以上，重新定义了性价比前沿。

  • 智能密度 定义为基准得分除以模型大小（GB）。1‑位变体实现 0.53 分/GB，而未压缩的 27B 模型约为 0.05 分/GB。
  • 这相当于比全精度提升 >10×，比现有最佳低位方案提升约 2.7×。

Intelligence density comparison

为什么本地代理 AI 很重要

结论： 本地执行消除每 token 的 API 成本，去除延迟并保护用户数据，能够催生全新类别的持久离线助手。

  • 代理工作负载在每个任务中会调用数百次模型，每次都携带上下文和结构化输出。仅云端 API 会产生网络延迟和累计的 token 费用。
  • 能够在设备上容纳的模型让整个循环本地化运行，使百步工作流的边际成本几乎为零。
  • 混合架构变得可行：隐私敏感的步骤在手机上执行，而云端模型仅处理最苛刻的推理。

公告中附带了演示视频，展示了在 RTX 5090 GPU 上的多步代理工作流以及在 iPhone 上的多模态演示（处理缓存的图像上下文）。

实际吞吐量数据

结论： Bonsai 27B 在高端 GPU 与 Apple Silicon 上都达到了实用的 token‑per‑second 速率。

  • NVIDIA GeForce RTX 5090： 163 tok/s（1‑位）和 134 tok/s（三元）。
  • Apple M5 Max： 87 tok/s（1‑位）和 58 tok/s（三元）。

这些速度足以支撑交互式聊天和多数代理流水线，配合推测解码（草稿‑验证）可进一步降低延迟。

社区反馈与疑问

结论： 早期使用者正在探讨性能对比、集成难点以及对 AI 部署的更广影响。

"我最想看到的是与 Gemma 4 12B 的 4‑bit QAT 形式的对比。它只有约 7 GB，已经能在大多数设备上运行，并且在工具使用和视觉表现上很强。" – SwellJoe

"我们怎么知道基准分数反映的是从母模型保留下来的智能，而不是在测试集上微调的结果？" – motbus3

"KV‑cache 的使用看起来非常节省，这可能会成为多代理编码工作流的游戏规则改变者。" – erwan577

"我在 LM Studio 中尝试了 Hugging Face 的发布版，但 GGUF 和 MLX 构建都无法运行。可能是引擎需要更新。" – simonw

这些评论凸显了对更直接对比（例如与 4‑bit QAT 模型）的需求、对评估方法的透明度以及对新格式工具支持的期待。

可用性与授权

结论： 模型及其低位内核在 Apache 2.0 下发布，并提供免费开发者预览 API 供快速实验。

  • 平台： 通过 MLX 原生支持 Apple 设备，通过自定义 CUDA 内核支持 NVIDIA GPU。
  • 文档： 包括压缩算法、评估流水线和基准套件的完整技术细节已在公开白皮书中提供。

展望：智能密度作为新 AI 指标

结论： 随着模型能力不再受参数量的硬性限制，性能与内存的比值（智能密度）将决定高级 AI 能运行的场所。

PrismML 的方法与架构无关，暗示未来的发布——可能是更大的模型或新型 transformer 变体——将继续推动密度前沿。作者将当前的转变比作从房间大小的计算机到口袋大小的智能手机的历史性跃迁。

底线： Bonsai 27B 证明了 270 亿参数的多模态模型可以在现代智能手机上运行，性能损失不超过 10%，为离线、隐私保护和零成本的代理 AI 在消费硬件上打开了大门。

Sources