antoinezambelli/forge

解决的问题

Forge 提高了自托管大语言模型 (LLM) 中工具调用的可靠性。许多本地模型难以始终如一地正确格式化工具调用或遵循复杂指令，从而导致代理工作流失败。Forge 充当保护层，在错误破坏应用程序之前捕获并纠正它们。

工作原理

Forge 提供了一套护栏——包括响应验证、自动重试循环和救援解析——位于您的应用程序和 LLM 之间。它可以作为直接使用的代理服务器，使任何本地模型对现有工具（如 Aider 或 Claude Code）看起来更可靠，或者作为 Python 库 (WorkflowRunner) 用于构建具有上下文管理和步骤强制执行等高级功能的自定义代理循环。

适用人群

它专为构建代理应用程序且需要更高可靠性的本地 LLM 开发人员而设计。如果您已经在使用代理工具并希望在不重写代码的情况下添加护栏，或者正在构建自定义代理循环并需要强大的工具调用和工作流管理，那么它非常理想。

亮点

• 直接使用的代理： 无需更改代码即可与现有的 OpenAI 兼容或 Anthropic 兼容客户端配合使用。
• 救援解析： 自动将格式错误的工具调用（例如代码块中的 JSON）修复为正确的格式。
• 重试逻辑： 自动重试失败的工具调用，并向模型提供纠正反馈。
• 工作流管理： 支持为复杂的代理任务定义必需步骤、先决条件和终端工具。
• 后端无关： 兼容 Ollama、llama-server、vLLM、Llamafile 和 Anthropic API。