Giskard-AI/giskard-oss

🐢 Open-Source Evaluation & Testing library for LLM Agents

解決する課題

Giskardは、AIエージェントやLLMベースのシステムをテストおよび評価するための構造化された方法を提供します。非決定的なAI挙動を検証するという課題に対処し、開発者がリグレッションの検出、安全性の確保、およびRAG (Retrieval-Augmented Generation) システムの品質検証を行うのを支援します。

仕組み

このライブラリは、2つの主要なモジュールコンポーネントに分かれています。カスタム評価シナリオ（アサーションやLLM-as-judge評価など）を定義するための giskard-checks と、自動化されたレッドチーミングのための giskard-scan です。エージェント（同期または非同期関数）をラップし、これらのツールを使用してインタラクションをシミュレートし、プロンプトインジェクションなどの脆弱性を調査し、出力が特定の要件を満たしていることを検証します。

対象ユーザー

エージェントシステムやLLMアプリケーションを構築する開発者やAIエンジニア向けに設計されており、開発ライフサイクル全体を通じて、信頼性が高くプログラム可能な方法で品質保証、セキュリティテスト、パフォーマンス検証を行う必要があります。

ハイライト

自動化されたレッドチーミング： プロンプトインジェクション、有害なコンテンツ、誤情報などの脆弱性を特定するための敵対的テストスイートを自動生成します。
LLM-as-Judge： LLMを使用して根拠性、適合性、その他の定性的指標を評価する組み込みの評価チェックが含まれています。
モジュール式アーキテクチャ： 軽量で非同期ファーストなフレームワークとして構築されており、必要なコンポーネントのみをインストールできます。
柔軟なテスト： 呼び出し可能なあらゆるエージェントやパイプラインのテストをサポートし、単純なアサーションから複雑なマルチターン会話の評価まで可能です。

関連

プロジェクト
requie/AI-Red-Teaming-Guide
AIシステムの敵対的テストとセキュリティ評価に関する包括的なガイドであり、LLMや自律型エージェントの脆弱性を特定するためのフレームワークと手法を提供します。
プロジェクト
AgentSafeLabs/safelabs-eval
safelabs-eval は、AI エージェントをレッドチームテストするためのオープンソースの Python フレームワークです。HTTP または Python の呼び出し可能オブジェクトを介して、ターゲットエージェントに 300 の厳選された敵対的プロンプト（OWASP に着想を得た ASI01-ASI10 カテゴリごとに 30 個）を送信し、純粋な Python のパターン検出器で応答をスコアリングします。このツールはフレームワークに依存せず（オプションのアダプタを介して LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel をサポート）、人間が読める形式または JSON レポートを生成し、追加の LLM 呼び出しを必要としません。開発者は、デプロイ前にプロンプトインジェクション、データ漏洩、ツール使用の安全性、幻覚、その他のエージェント固有のリスクを発見するのに役立ちます。
プロジェクト
NVIDIA/garak
garak は、生成AIモデルのプロンプトインジェクション、有害性、データ漏洩などの弱点を調査し、開発者がアプリケーションを保護するのに役立つLLM脆弱性スキャナーです。
プロジェクト
ZeroLeaks/zeroleaks
LLMシステムプロンプトのレッドチーミングを行い、プロンプト抽出やインジェクション攻撃に対する脆弱性を検出するためのCLIおよびTypeScriptライブラリ。
プロジェクト
Tencent/AI-Infra-Guard
AI‑Infra‑Guard (A.I.G) は、AI サービスのレッドチーム安全テストのためのオープンソースで Docker デプロイ可能なプラットフォームです。ライブ LLM エンドポイント、AI エージェントワークフロー、およびモデル制御プレーンコードの CVE、脱獄（ジェイルブレイク）の脆弱性、エージェントの制御喪失リスクをスキャンし、Web UI および REST API を通じて結果を公開します。