AISecurityLab/hackagent

它解决了什么问题

HackAgent 是一个安全红队工具包，旨在发现 AI 代理中的漏洞。它解决了提示注入、越狱、目标劫持和工具滥用等风险，而传统安全工具无法检测这些风险。

它如何工作

它使用一个模块化流程，包括一个攻击引擎，用于协调各种基于研究的攻击技术（如 PAIR、TAP 和 AutoDAN-Turbo），一个生成式 LLM 用于创建对抗性提示，以及一个评判式 LLM 用于评估安全措施是否被绕过。该过程是自动化的，可用于测试基于 LangChain、OpenAI SDK、LiteLLM 和 Google ADK 等框架构建的目标代理。

适合谁使用

需要评估并增强其 AI 代理鲁棒性的安全研究人员、开发者和 AI 安全实践者。

主要亮点

• 自动化红队测试：使用多种先进攻击技术，自动发现安全缺陷。
• 广泛的框架支持：兼容主流 AI 代理框架，包括 LangChain 和 OpenAI SDK。
• 灵活的报告功能：提供基于本地 SQLite 的仪表板和基于云的报告平台。
• 易于部署：提供 Python SDK、CLI 和适用于多个平台的独立二进制文件。