PrismML-Eng/Bonsai-demo

什么是 Bonsai‑demo？

Bonsai‑demo 是 PrismML 发布的 Bonsai 2 大型语言模型（LLM）系列的即用型本地演示。它允许你在个人电脑上运行 2 B、4 B、9 B 或旗舰版 27 B 模型——在 macOS（Metal）、Linux、Windows 甚至仅 CPU 环境下——并通过 Web 界面、简单的聊天服务器或命令行与之交互。

主要功能

功能	工作方式
模型大小	2 B、4 B、9 B、27 B（默认）。所有模型均为三元量化（约 1.75 bits/权重），并提供两种格式：GGUF（用于 llama.cpp）和 MLX‑2‑bit（用于 Apple‑Silicon）。
视觉	上传图像、PDF 或截图；模型的视觉投影器处理它们，你可以询问内容相关问题。
工具调用	支持 OpenAI 风格的 `tool_calls`。界面包含一个 MCP 客户端，预接 Hugging Face 和 DeepWiki 工具，你也可以添加自己的工具。
推理（“思考”）	内置的“推理努力”预算让模型在回答前思考。界面允许你选择 Off, Low, Medium, High, Max；27 B 模型的默认值为 xhigh。
长上下文	通过混合注意力骨干支持最高 262 K tokens 的上下文。可选的 4‑bit KV 缓存将内存减少到约 18 KB/token。
跨平台后端	使用 llama.cpp（Metal、CUDA、Vulkan、ROCm、CPU）处理 GGUF 检查点，以及 MLX 处理 Apple Silicon 上的 2‑bit 检查点。
代理演示	预打包的“Hermes”代理可以从两句话的简报生成 3‑D 滑板游戏，展示端到端的工具使用。
Open WebUI 集成	可选的 ChatGPT 风格界面，支持图像、工具调用和服务器端代码解释器（Jupyter、matplotlib、pandas 等）。

如何开始（最快路径）

克隆并运行设置 – git clone https://github.com/PrismML-Eng/Bonsai-demo.git && cd Bonsai-demo && ./setup.sh – 脚本安装系统依赖、Python 虚拟环境，下载 27 B PQ2_0 检查点（约 7.8 GB）和匹配的 llama.cpp 二进制文件。
启动聊天服务器 – ./scripts/start_llama_server.sh（或 PowerShell 等效命令）。在浏览器中打开 http://localhost:8080。
可选 – 从终端运行单个提示：./scripts/run_llama.sh -p "法国的首都是什么？"。

切换模型大小或后端

在运行 setup.sh 前设置 BONSAI_MODEL=4B（或 2B/9B）。
在 Apple Silicon 上，你可以使用 MLX 后端：./scripts/run_mlx.sh … 或 ./scripts/start_mlx_server.sh。
要强制仅 CPU 推理，设置 BONSAI_NGL=0。

你可能最常接触的配置旋钮

变量	默认值	典型用途
`BONSAI_THINKING`	`1`（启用）	关闭推理以提升速度（`0`）。
`BONSAI_CTX`	自动（基于 RAM 分层）	覆盖上下文长度，例如 `BONSAI_CTX=131072`。
`BONSAI_KV4`	`0`	为超大上下文启用 4‑bit KV 缓存（`1`）。
`BONSAI_OPENWEBUI` / `BONSAI_CODE_INTERPRETER`	`1`	设置为 `0` 以跳过繁重的 Open WebUI 或代码解释器安装。

仓库内容

脚本：用于设置、从源码构建 llama.cpp、启动服务器（llama.cpp 或 MLX）以及一次性提示运行。
文档（README、BACKEND‑SUPPORT.md、MODEL‑FORMATS.md 等）涵盖模型格式、环境变量、基准测试、视觉、工具调用、KV 缓存等。
Docker 风格资源 – 包含 Bonsai 标志的小型 assets 文件夹。
可选集成 – Open WebUI、基于 Jupyter 的代码解释器，以及预置的代理演示。

适合谁？

开发者或研究人员，希望在没有云推理费用的情况下，在设备上试验 27 B 规模的 LLM。
工具构建者，寻找一个已经支持 OpenAI 风格工具调用和视觉的本地模型。
爱好者，想要一个即插即用的聊天界面（Open WebUI），并能在笔记本电脑、台式机或 Apple‑Silicon Mac 上运行模型。

底线： Bonsai‑demo 是一个功能齐全的开源演示，使 PrismML 的“Bonsai 2”LLM 系列可在本地运行，支持视觉、工具调用、长上下文和可选的代理界面——全部由易于使用的脚本编排。