Giskard-AI/giskard-oss
🐢 Open-Source Evaluation & Testing library for LLM Agents
解决的问题
Giskard 提供了一种结构化的方法来测试和评估 AI 智能体及基于 LLM 的系统。它解决了验证非确定性 AI 行为的挑战，帮助开发者捕获回归问题、确保安全性，并验证 RAG (Retrieval-Augmented Generation) 系统的质量。
工作原理
该库分为两个主要的模块化组件：用于定义自定义评估场景（如断言或 LLM-as-judge 评估）的 giskard-checks，以及用于自动化红队测试的 giskard-scan。你可以封装你的智能体（任何同步或异步函数），并使用这些工具来模拟交互、探测提示词注入等漏洞，并验证输出是否符合你的特定要求。
适用对象
它专为构建智能体系统或 LLM 应用的开发者和 AI 工程师设计，他们需要在整个开发生命周期中以可靠、编程的方式执行质量保证、安全测试和性能验证。
亮点
- 自动化红队测试： 自动生成对抗性测试套件，以识别提示词注入、有害内容和错误信息等漏洞。
- LLM-as-Judge： 包含内置评估检查，使用 LLM 来评估基础性、一致性以及其他定性指标。
- 模块化架构： 构建为轻量级、异步优先的框架，你只需安装所需的组件。
- 灵活的测试： 支持测试任何可调用的智能体或流水线，允许进行简单的断言和复杂的多轮对话评估。
相关
- 项目
- 项目
- 项目
- 项目
- 项目