Ternary Bonsai 2 27B 发布说明

Ternary Bonsai 2 27B 为本地部署提供近乎无损的压缩

Prism ML 发布了 Ternary Bonsai 2 27B，这是一款基于 Qwen3.8 27B 的多模态模型，将模型体积缩减至 5.9GB——比全精度版本小 9 倍以上。该模型保留了 Qwen3.8 27B 98.2% 的综合基准测试性能，使 27B 级别的智能能够在消费级硬件（包括 NVIDIA GPU 和 Apple Silicon）上高效运行。

技术规格与架构

Ternary Bonsai 2 27B 采用三值权重 ${-1, 0, +1}$，并结合 FP16 分组缩放。该架构实现了每个权重 1.76 位（bpw）的有效速率。主要技术能力包括：

• 上下文窗口： 262K tokens。
• 输入模态： 支持文本和图像输入的多模态。
• 许可证： 基于 Apache 2.0 许可证发布。
• 部署： 通过 CUDA 支持 NVIDIA GPU，通过 MLX 使用自定义低位内核支持 Apple 设备（Mac、iPhone、iPad）。

性能与基准测试结果

在涵盖推理、数学、编码和视觉的一系列基准测试中，Ternary Bonsai 2 27B 的总体得分为 83.9，而全精度 Qwen3.8 27B 的得分为 85.4。

能力	Ternary Bonsai 2 27B	Qwen3.8 27B	Qwen3.6 27B
智能体与工具调用	77.57	79.74	80.05
编码	81.58	82.17	82.57
指令遵循	82.66	81.25	74.53
知识与推理	83.95	86.66	84.71
数学	96.57	97.06	94.64
视觉	78.59	81.64	79.82
总体	83.9	85.4	83.6

Prism ML 强调，该模型在编码智能体、工具使用系统和多模态工作流中保持了高性能——这些领域通常对低位量化引起的性能下降非常敏感。

吞吐量与能效

模型体积的缩减带来了推理速度和功耗方面的显著提升：

• NVIDIA GeForce RTX 5090： 最高可达每秒 143 tokens。
• M5 Max： 每秒 46.8 tokens。
• 能效： 在 RTX 4090 上，该模型的能耗为 0.714 mWh/token，比以全精度运行的 8B 模型能效高 40%。

社区见解与不同观点

尽管官方发布强调了“近乎无损”的性能，但来自 Hacker News 的社区反馈对该模型的实际效用提供了更细致的看法：

• 可靠性担忧： 一些用户报告称，该模型在较长任务中可能会“以惊人的方式崩溃”，或者在使用 WebGPU 版本时陷入循环。
• 智能体性能： 一些测试者指出，该模型在实际的智能体任务中失败，有用户表示一个简单的 Swift 应用任务花了 25 分钟的“头脑风暴”仍未完成，而前沿模型（GPT 5.6 sol-medium）在 3 分钟内就完成了。
• 实现细节： 用户指出，运行 GGUF 版本需要特定的 Prism 分支 llama.cpp 才能正常工作。
• 硬件观察： 一位在 Radeon RX 7900 XTX 上测试的用户报告称，使用推测解码时生成速度为每秒 89 tokens，在 24k 上下文窗口下峰值 VRAM 使用量为 10.1 GiB。

"Use it for any longer task and they fall apart spectacularly and in interesting ways."

"On actual agentic task, it just fail."

与上一代的比较

Ternary Bonsai 2 27B 在首个 Bonsai 27B 发布的基础上进行了改进，将基础模型升级为 Qwen3.8 27B，并将相对于全精度基线的性能保留率从 95% 提高到 98% 以上。