guardrails-ai/guardrails

解决的问题

Guardrails 提供了一种确保基于 LLM 的应用程序可靠且安全的方法。它通过检测和缓解风险（如毒性或提及竞争对手）来解决 LLM 输出不可预测的问题，并确保模型以特定的结构化格式生成数据。

工作原理

该框架通过两种主要机制运行：

1. 输入/输出防护：使用“验证器”——预构建或自定义的风险度量——拦截并检查进入或离开 LLM 的文本。如果验证失败，系统可以触发特定操作，例如抛出异常。
2. 结构化数据生成：与 Pydantic 模型集成，强制 LLM 返回定义好的数据模式。对于支持的模型，通过函数调用实现；对于不支持的模型，则通过优化提示实现。

此外，Guardrails 可以使用 Flask 部署为独立的 REST API 服务器，允许应用程序远程与其交互。

适用人群

需要强制执行安全约束、防止幻觉或确保 LLM 输出始终可解析为结构化数据的 AI 应用开发者。

主要亮点

• Guardrails Hub：包含常见风险的预构建验证器集合。
• Pydantic 集成：无缝将 LLM 响应转换为结构化 Python 对象。
• 灵活部署：可作为库使用，也可作为独立服务器使用。
• LLM 无关性：与专有模型和开源模型均兼容。