NVIDIA-NeMo/Guardrails

解決する課題

アプリケーションと大規模言語モデル（LLM）の間にプログラム可能なレイヤーを提供し、会話が安全、セキュア、かつ適切なトピックに留まるようにします。LLMが望ましくないトピックについて言及するのを防ぎ、ジェイルブレイクやプロンプトインジェクションなどの脆弱性から保護し、モデルが予測不可能な動作に逸脱するのではなく、事前に定義された会話パスに従うようにします。

仕組み

このライブラリは「レール」を実装しています。これは、LLMパイプラインのさまざまな段階でデータを傍受して変更するプログラム可能な制御です。

• 入力レール: ユーザー入力がLLMに到達する前にスクリーニングまたは変更します。
• 対話レール: Colangと呼ばれる専門的なモデリング言語を使用して、正規形を定義し、会話の流れを誘導します。
• 取得レール: RAG（検索拡張生成）プロセス中に取得されたデータをフィルタリングまたはマスキングします。
• 実行レール: LLMによって呼び出されるカスタムツールやアクションの入力と出力を制御します。
• 出力レール: LLMの応答をユーザーに配信する前に検証または変更します。

対象者

ドメイン固有のチャットボット、RAGベースの質問応答システム、カスタムLLMエンドポイントなど、LLMを活用したアプリケーションを構築する開発者で、モデルの動作と安全性を厳密に制御する必要がある方。

ハイライト

• Colangモデリング言語: 制御可能な対話フローを設計するために特別に設計されたPythonに似た言語。
• 包括的な保護: ハルシネーション検出、ファクトチェック、ジェイルブレイク/インジェクションスキャンの組み込みサポート。
• 柔軟な統合: さまざまなLLM（GPT-4、LLaMa-2など）で動作し、オプションでLangChainと統合します。
• デプロイメントオプション: Pythonライブラリとして、CLI経由で、またはHTTP APIを備えたスタンドアロンサーバーとしてデプロイして使用できます。