guardrails-ai/guardrails

解決的問題

Guardrails 旨在透過防止 LLM 輸出（及輸入）包含風險或未能遵循特定結構，使 AI 應用程式更加可靠。它透過在 LLM 與應用程式之間提供驗證層，解決了 LLM 不可預測的行為問題，例如有害語言、提及競爭對手或格式錯誤的數據。

工作原理

Guardrails 使用「validators」（驗證器）系統——即針對特定風險的預建措施——並將它們組合成「Guards」（防護罩）。這些 Guards 會攔截 LLM 的輸入或輸出，以檢測、量化並減輕風險。對於結構化數據生成，它使用 Pydantic 模型來定義所需的輸出模式。這是透過使用 LLM 原生的函數調用功能，或透過優化提示詞以確保 LLM 生成符合模式的數據來實現的。

適用對象

構建 AI 應用程式的開發人員，他們需要確保其基於 LLM 的功能具有一致性、安全性，並能為下游處理生成結構化、可解析的數據。

亮點

• Guardrails Hub：針對有害語言和競爭對手檢查等常見風險的預建驗證器集合。
• 結構化數據生成：使用 Pydantic 模型強制 LLM 生成有效的 JSON 或其他結構化格式。
• 靈活部署：可以作為 Python 函式庫使用，或透過 Flask 作為獨立的 REST API 伺服器進行部署。
• LLM 無關性：適用於專有與開源 LLM。