nace-ai/kapitsa

足够的背景：

Kapitsa是一个在Apple Silicon Mac上直接运行大型语言模型（一种编写文本的AI）的程序——无需云、无需GPU卡。它被构建为“编码代理”（帮助您编写软件的工具）的后端。

它的功能

• 在本地运行三个模型系列：Qwen、Nemotron和Recursive的Flint。
• 在本地模型上启动编码代理工具（opencode、Claude Code、Codex、pi）。
• 暴露两个标准服务器API（OpenAI和Anthropic），以便其他应用程序可以与之通信。

硬件要求： 仅此而已——运行macOS 14 Sonoma或更高版本的Apple Silicon Mac（M1或更新机型）。

安装与首次使用

一条命令即可安装：

brew install nace-ai/tap/kapitsa

（也有curl脚本）。然后，在35B模型上与opencode一起使用：

kapitsa opencode --model 35b

在内存较小的Mac（16–24GB）上，README建议使用--model 9b或4b以获得更快的回复。

主要命令

命令	功能
kapitsa serve	在http://127.0.0.1:8000启动带有聊天、OpenAI和Anthropic API的本地服务器
kapitsa claude	在Kapitsa之上运行Claude Code
kapitsa doctor	显示Mac的GPU和内存以及哪些模型适合
kapitsa bench	对Mac进行基准测试，并（可选）与社区分享结果
kapitsa bench compare	针对机器上安装的其他引擎运行相同的基准测试
kapitsa pull 27b	下载模型而不启动它
kapitsa list / kapitsa rm	列出/删除已下载的模型
kapitsa import model.gguf	导入现有的Qwen或Flint GGUF文件（来自LM Studio、Ollama或llama.cpp）
kapitsa update	升级Kapitsa本身

它的快速之处 — KFlash

普通引擎逐个标记生成文本（标记大致是单词片段）。为了加速，一些引擎使用“起草器”——一个快速的小型模型，猜测接下来的约7个标记。然后大模型在一次传递中检查这些猜测，并保留正确的连续部分。

KFlash更进一步，采用树状推测解码：大模型不是检查单一的猜测链，而是在同一次传递中检查起草器顶级候选的小树。在起草器犹豫的地方，其亚军猜测也会被带入并检查——因此每次传递有更多标记幸存。树的大小根据特定Mac上验证行的成本进行调整。至关重要的是，输出与普通解码相同：大模型仍然验证每个标记。

它按原样与已发布的起草器配合使用：z-lab的DFlash和DFlash2，以及NVIDIA的DSpark和LiLiCorr。

速度声明（来自README的基准测试）

• 在与其他9个引擎相比的27个模型与Mac组合中，Kapitsa在25个中拥有最快的文本生成（解码）速度。
• 比llama.cpp快最多3.5倍，比oMLX快2.2倍（得益于KFlash）。
• 示例：M1 Pro（16GB）上的Recursive Flint 40B-A2.5B（带2位专家）：61个标记/秒 vs llama.cpp的43。
• 在M4 Pro上，Flint的提示处理速度是Recursive自家引擎的1.1–1.2倍，解码在128K标记上下文中领先达到1.3倍。

一切都可以在自己的Mac上测量：kapitsa bench和kapitsa bench compare已内置。

其他显著功能

• SSD前缀缓存 — 重启服务器并保持对话；35B上的16K标记后续请求从约17秒降至0.16秒（约100倍）。
• 前缀重用 — 共享系统提示的新问题从0.06秒而不是1.9秒开始。
• KFlash预算 — 多个请求同时共享一个验证传递，在27B模型上总吞吐量提高最多23%。
• 输出检查 — 项目中的任何速度声明只有在输出保持在原始模型噪声底限两倍以内时才受信任。
• 许可证：Apache 2.0，© 2026 Nace AI。