Generated-Computers/Locals

它解决了什么问题

在 Mac 上为编码智能体（如 OpenCode、Cline 或 Aider）运行 AI 模型通常既缓慢又笨拙。这些智能体需要进行大量的工具调用、保持长对话，并且经常并行运行——但典型的本地模型服务器是为简单聊天而构建的，并不适合这种工作负载。Locals 是一款专为智能体设计的本地服务器，使它们在 Apple silicon 上运行速度提高多达三倍，同时将所有内容保留在您自己的机器上。

工作原理

Locals 直接在您的 Mac GPU 上运行 AI 模型。它不是一次处理一个请求，而是将来自多个智能体的请求批量处理，使用针对少量并发请求优化的 GPU 内核。这使得八个智能体完成任务的时间大致相当于两个智能体依次完成的时间。它还在生成回复时直接在 GPU 上应用语法，因此工具调用和 JSON 输出始终符合所需的模式——不会出现损坏或格式错误的调用。对话和系统提示词会在多轮对话中缓存并重用，因此长会话几乎可以瞬间启动（138,000 token 的对话下一轮启动仅需 2.4 秒）。它还增加了安全防护：检测重复循环、防止内存溢出崩溃，并在智能体挂起时释放服务器。

适用人群

在 Mac 上使用 AI 编码助手并希望它们更快、更可靠的开发者。它适用于 OpenCode、Cline、Aider、OpenHands、Claude Code 等工具，以及任何支持 OpenAI、Anthropic 或 Ollama API 的应用程序。您需要一台配备 Apple silicon (M1 或更高版本) 和 macOS 14+ 的 Mac。当同时运行多个智能体实例或处理长提示词时，它特别有用。

亮点

• 并行智能体速度： 八个并发请求的 token 吞吐量比 mlx-lm 高出 3.1 倍（在 M2 Pro 上为 271 vs 87 tokens/s）。
• 始终有效的工具调用： 回复受到 GPU 端语法的约束，因此字段和参数始终符合模式。
• 快速恢复： 提示词和对话缓存在磁盘上，因此智能体重启后的第一个请求仅需 1.7 秒，而不是 16 秒。
• 单命令设置： locals code 在您的项目中打开 OpenCode；locals launch 连接到许多其他智能体工具。
• 团队模式： locals run 将任务拆分给多个智能体，每个智能体在您项目的独立副本中运行，并且仅在您的测试通过时才应用更改。
• 兼容现有工具： 可以替换通常端口上的 Ollama、LM Studio、mlx-lm 或 llama.cpp 服务器，因此现有客户端无需更改即可继续工作。