Giskard-AI/giskard-oss

🐢 Open-Source Evaluation & Testing library for LLM Agents

What it solves

エージェントシステムや LLM ベースのアプリケーションをテスト・評価するフレームワークを提供します。従来のユニットテストが失敗する非決定的出力のテスト課題に対応し、プロンプトインジェクション、データ漏洩、RAG システムの幻覚といった脆弱性の特定を支援します。

How it works

Giskard は任意の LLM、ブラックボックスエージェント、パイプラインをラップできるモジュラーな Python パッケージ群として構成されています。

Giskard Checks: シナリオ API を用いて評価（eval）を作成するライブラリです。シンプルなアサーション、正規表現、セマンティック類似度、そして「LLM-as-judge」評価（例: groundedness や conformity のチェック）をサポートします。
Giskard Scan: エージェントの自然言語記述に基づき、対抗テストスイートを自動生成するレッドチーミングツールです。セキュリティ脅威（OWASP LLM Top-10）、ステレオタイプ、誤情報を検出します。
RAG Evaluation: ナレッジベースから直接合成テストセット（質問、参照回答、コンテキスト）を生成し、RAG の品質を検証します。

Who it’s for

LLM エージェント、RAG パイプライン、マルチターン対話システムを構築する AI 開発者や QA エンジニアで、安全性・信頼性・パフォーマンスを確保したい方々向けです。

Highlights

Modular Architecture: 軽量パッケージ（giskard-checks、giskard-scan）で依存関係は最小限です。
Async-first: 動的なマルチターン AI エージェントテスト向けに設計されています。
Automated Red-Teaming: プロンプトインジェクションや有害コンテンツをテストするための対抗入力を自動生成します。
LLM-as-Judge: groundedness や conformity といった複雑な評価を組み込みでサポートします。