guardrails-ai/guardrails

解決する課題

Guardrailsは、LLMの出力（および入力）にリスクが含まれたり、特定の構造に従わなかったりすることを防ぐことで、AIアプリケーションの信頼性を高めるように設計されています。LLMとアプリケーションの間に検証レイヤーを提供することで、有害な言語、競合他社の言及、誤った形式のデータといった、LLMの予測不可能な動作の問題に対処します。

仕組み

Guardrailsは、特定のリスクを測定するために事前構築された「validators（検証器）」のシステムを使用しており、これらを組み合わせて「Guards（ガード）」を作成できます。これらのGuardsは、LLMの入出力に介入して、リスクを検出、定量化、および軽減します。構造化データの生成については、Pydanticモデルを使用して、望ましい出力スキーマを定義します。これは、LLMのネイティブな関数呼び出し機能を使用するか、LLMがスキーマに適合するデータを生成するようにプロンプトを最適化することによって実現されます。

対象者

LLMを活用した機能が整合性を持ち、安全であり、後続の処理のために構造化され解析可能なデータを生成することを保証する必要がある、AIアプリケーションを構築する開発者。

ハイライト

• Guardrails Hub: 有害な言語や競合他社のチェックなど、一般的なリスクに対応する事前構築された検証器のコレクション。
• 構造化データ生成: Pydanticモデルを使用して、LLMに有効なJSONまたはその他の構造化形式を生成するように強制します。
• 柔軟なデプロイ: Pythonライブラリとして使用するか、Flaskを介してスタンドアロンのREST APIサーバーとしてデプロイできます。
• LLMに依存しない: プロプライエタリなLLMとオープンソースのLLMの両方で動作します。