guardrails-ai/guardrails

何を解決するか

Guardrails は、LLMベースのアプリケーションが信頼性と安全性を持つように保証する方法を提供します。予測不可能なLLM出力を解決するために、リスク（たとえば毒性や競合他社の言及など）を検出し、緩和し、モデルが特定の構造化形式でデータを生成することを保証します。

動作方法

このフレームワークは、2つの主要なメカニズムで動作します。

1. 入力/出力ガード: 「バリデーター」（事前構築済みまたはカスタムのリスク測定）を使用して、LLMに入力されるか、出力されるテキストをインターセプトしてチェックします。検証に失敗した場合、例外をスローするなどの特定のアクションをトリガーできます。
2. 構造化データ生成: Pydanticモデルと統合して、LLMが定義されたスキーマでデータを返すように強制します。サポートされているモデルでは関数呼び出しを使用し、そうでないモデルではプロンプトを最適化します。

さらに、GuardrailsはFlaskを使用してスタンドアロンのREST APIサーバーとしてデプロイでき、アプリケーションがリモートからアクセスできるようにします。

対象ユーザー

安全制約を強制したい、幻覚を防ぎたい、またはLLMの出力が一貫して構造化データとして解析可能であることを保証したい開発者向けです。

主な特徴

• Guardrails Hub: 一般的なリスク用の事前構築済みバリデーターのコレクション。
• Pydantic統合: LLMの応答を構造化されたPythonオブジェクトにスムーズに変換。
• 柔軟なデプロイ: ライブラリとして使用するか、スタンドアロンサーバーとして使用可能。
• LLM非依存: プロプライエタリモデルとオープンソースモデルの両方と互換性があります。