guardrails-ai/guardrails

Adding guardrails to large language models.

解决的问题

Guardrails 旨在通过防止 LLM 输出（及输入）包含风险或未能遵循特定结构，使 AI 应用程序更加可靠。它通过在 LLM 和应用程序之间提供验证层，解决了 LLM 不可预测的行为问题，例如有害语言、提及竞争对手或格式错误的数据。

工作原理

Guardrails 使用“validators”（验证器）系统——即针对特定风险的预构建措施——并将它们组合成“Guards”（防护罩）。这些 Guards 拦截 LLM 的输入或输出，以检测、量化和减轻风险。对于结构化数据生成，它使用 Pydantic 模型来定义所需的输出模式。这是通过使用 LLM 原生的函数调用功能，或通过优化提示词以确保 LLM 生成符合模式的数据来实现的。

适用对象

构建 AI 应用程序的开发人员，他们需要确保其基于 LLM 的功能具有一致性、安全性，并能为下游处理生成结构化、可解析的数据。

亮点

  • Guardrails Hub：针对有害语言和竞争对手检查等常见风险的预构建验证器集合。
  • 结构化数据生成：使用 Pydantic 模型强制 LLM 生成有效的 JSON 或其他结构化格式。
  • 灵活部署：可以作为 Python 库使用，或通过 Flask 作为独立的 REST API 服务器进行部署。
  • LLM 无关性：适用于专有和开源 LLM。

相关