Bonsai 27B 將 270 億參數 AI 帶到手機，採用 1 位元量化
Bonsai 27B 將 270 億參數 AI 帶到手機，採用 1 位元量化
Bonsai 27B 把 270 億參數模型放到手機上
要點： PrismML 發布了 Qwen 3.6 27B 模型的兩個低位元變體——三元（5.9 GB）和 1 位元（3.9 GB）——分別可在筆記型電腦和 iPhone 17 Pro 裝置上運行，於 15 項基準測試中保留了全精度基線的 95% 與 90%。
兩種硬體定位
結論： 三元變體針對以品質為導向的筆記型電腦使用，而 1 位元變體則符合現代智慧手機的記憶體預算。
- 三元 Bonsai 27B – 權重為三元 (−1, 0, +1) 並搭配 FP16 群組縮放，實際為每個權重 1.71 位元。模型大小為 5.9 GB，能在一般筆記型電腦上完成完整推理、工具呼叫與代理迴圈。
- 1‑位元 Bonsai 27B – 權重為二元 (−1, +1) 並使用相同縮放，實際為每個權重 1.125 位元。大小 3.9 GB，正好符合 iPhone 17 Pro 約 4 GB 可用記憶體，成為首個可全程在裝置上執行的 27B 級模型。
兩個變體皆保持端到端的低位元表示（嵌入、注意力、MLP、LM 頭），並搭配緊湊的 4 位元視覺塔，支援截圖、文件與相機畫面等多模態輸入。
基準表現顯示智慧損失極小
結論： 在數學、程式碼、工具呼叫、指令遵循、知識與視覺任務上，Bonsai 27B 相較全精度 Qwen 3.6 27B 只下降了少數分數。
| 類別 | 全精度 Qwen 3.6 27B | 三元 Bonsai 27B | 1‑位元 Bonsai 27B |
|---|---|---|---|
| 數學 | 95.3 | 93.4 | 91.7 |
| 程式碼 | 88.7 | 86.0 | 81.9 |
| 代理與工具呼叫 | 80.0 | 74.0 | 66.0 |
| 指令遵循 | 78.4 | 71.8 | 65.8 |
| 知識 / STEM | 83.1 | 77.0 | 73.4 |
| 視覺 | 72.6 | 65.2 | 59.6 |
| 總體（15 項基準） | 85.0 | 80.5 | 76.1 |
表格顯示數學與程式碼分數下降不到 3 點，工具呼叫的差距仍在 14 點以內——對於代理工作負載至關重要。作者指出，同樣基礎模型的傳統 4 位元量化佔用記憶體是 1‑位元 Bonsai 變體的 2.5 倍，且分數顯著較低。
智慧密度：每 GB 更多能力
結論： Bonsai 27B 的「每 GB 智慧」指標超過全精度基線十倍以上，重新定義了成本‑效能的前沿。
- 智慧密度 定義為基準分數除以模型大小（GB）。1‑位元變體達到 0.53 分/GB，對比未壓縮的 27B 模型約 0.05 分/GB。
- 這代表相較全精度提升超過 10 倍，較最佳現有低位元方案提升約 2.7 倍。
為何裝置端代理 AI 很重要
結論： 本地執行可消除每 token 的 API 成本、降低延遲，並保護使用者資料，從而開啟持續離線助理的新類別。
- 代理工作負載在每個任務中會呼叫上百次模型，每次都帶有上下文與結構化輸出。僅雲端 API 會產生網路延遲與累積的 token 費用。
- 能放在裝置上的模型讓整個迴路全部本地化，使百步工作流程的邊際成本實質為零。
- 混合架構變得可行：隱私敏感的步驟在手機上執行，只有最耗資源的推理交給雲端模型。
公告中附有示範影片，展示在 RTX 5090 GPU 上的多步代理工作流程，以及在 iPhone 上的多模態示範（處理快取的影像上下文）。
真實世界吞吐量數據
結論： Bonsai 27B 在高階 GPU 與 Apple Silicon 上皆能達到實用的每秒 token 效率。
- NVIDIA GeForce RTX 5090： 163 tok/s（1‑位元）與 134 tok/s（三元）。
- Apple M5 Max： 87 tok/s（1‑位元）與 58 tok/s（三元）。
這些速度足以支援互動聊天與多數代理管線，搭配投機解碼（草稿‑驗證）可進一步降低延遲。
社群回應與疑問
結論： 早期使用者正探討性能比較、整合障礙以及此技術對 AI 部署的廣泛影響。
"我最想看到的是與 Gemma 4 12B 的 4‑bit QAT 形式的比較。它只有約 7 GB，已經能在大多數裝置上跑，且在工具使用與視覺表現上相當強大。" – SwellJoe
"我們怎麼知道基準分數是保留了母模型的智慧，而不是在測試集上微調的結果？" – motbus3
"KV‑cache 的使用看起來非常節省，對於多代理程式碼工作流程可能是個改變遊戲規則的因素。" – erwan577
"我在 LM Studio 中嘗試了 Hugging Face 的發佈版，但 GGUF 與 MLX 版本無法運作。可能是引擎需要更新。" – simonw
這些評論突顯了對更直接比較（例如與 4‑bit QAT 模型）的需求、對評估方法的透明度，以及對新格式工具支援的期待。
可取得性與授權
結論： 模型與相關低位元核心以 Apache 2.0 授權釋出，並提供免費的開發者預覽 API 供快速實驗。
- 平台： 透過 MLX 原生支援 Apple 裝置，並在 NVIDIA GPU 上使用自訂 CUDA 核心。
- 文件： 完整技術細節——包括壓縮演算法、評估管線與基準套件——皆收錄於公開的白皮書中。
前瞻：智慧密度作為新 AI 指標
結論： 隨著模型能力不再受限於參數量，效能與記憶體的比率（智慧密度）將決定先進 AI 能跑在哪裡。
PrismML 的方法與架構無關，暗示未來的發佈——可能是更大模型或新型 transformer 變體——將持續推進密度前沿。作者將當前的變革比作從房間大小的電腦到口袋大小的智慧手機的歷史轉折。
結論： Bonsai 27B 證明 270 億參數的多模態模型可以在現代智慧手機上運行，且僅犧牲不到 10% 的全精度能力，為離線、隱私保護與零成本的代理 AI 在消費硬體上鋪路。