AISecurityLab/hackagent

HackAgent is an open-source security toolkit to detect vulnerabilities of your AI Agents

解决的问题

HackAgent 帮助开发人员和安全研究人员识别 AI 模型和智能体中的漏洞。它通过测试系统对越狱、提示词注入和未经授权的工具滥用等常见威胁的抵御能力，实现了“红队测试”的自动化。

工作原理

该工具执行通过 YAML 文件或终端 UI 定义的“活动”，对目标 AI 发起特定攻击。它使用“评估模型”来评估目标的响应，为每次攻击提供量化的成功率。这使用户能够衡量其安全补丁的有效性并跟踪随时间的变化。

适用人群

该项目专为需要在大规模部署前或部署期间审计其基于 LLM 的应用程序的安全性和稳健性的 AI 工程师、安全研究人员和开发人员而设计。

亮点

  • 针对 AI 模型和智能体的自动化红队测试。
  • 支持包括越狱和提示词注入在内的研究支持型攻击向量。
  • 包含用于管理和运行安全活动的终端 UI 和 CLI。
  • 提供仪表板以可视化攻击结果、追踪记录和模型响应。
  • 本地优先执行能力，支持通过 Ollama 等工具与本地模型集成。

相关

  • 项目
    wanxingai/LightAgent

    LightAgent 是一个采用 Apache-2.0 许可的 Python 框架，用于构建轻量级、生产级的 LLM 代理。它提供内置内存 (通过 mem0)、工具集成、思维树推理、多代理路由 (LightSwarm)、确定性工作流编排 (LightFlow)、可选的动态 DAG、兼容 OpenAI 的流式 API、结构化追踪、护栏以及人工审批钩子。使用 `pip install lightagent` 安装，并通过单个 `LightAgent(...).run(query)` 调用即可开始使用。

  • 项目
    zhayujie/CowAgent

    CowAgent 是一个开源、自托管的 AI 助手，可规划任务、运行工具、维护个人知识库，并能以多代理协作团队的形式运作。它支持多种 LLM 提供商、多模态输入、数十种聊天渠道（Telegram、Slack、微信等）、插件技能系统，以及具有夜间“Deep Dream”蒸馏功能的三层记忆。可通过一行命令或 Docker 安装，通过网页控制台管理一切，并可通过公开的 Skill Hub 或自定义工具集成来扩展系统。

  • 项目
    AgentSafeLabs/safelabs-eval

    safelabs-eval 是一个开源 Python 框架，用于对 AI 代理进行红队测试。它通过 HTTP 或 Python 可调用对象向目标代理发送 300 个精选的对抗性提示（每个 OWASP 启发的 ASI01-ASI10 类别 30 个），并使用纯 Python 模式检测器对回复进行评分。该工具与框架无关（通过可选适配器支持 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel），生成人类可读或 JSON 报告，且无需额外的 LLM 调用。它帮助开发者在部署前发现提示注入、数据泄露、工具使用安全、幻觉和其他代理特定风险。

  • 项目
    Tencent/AI-Infra-Guard

    AI‑Infra‑Guard (A.I.G) 是一个开源、可透过 Docker 部署的平台，专门用于 AI 服务的红队安全测试。它能扫描即时 LLM 端点、AI 代理工作流以及模型控制平面代码，检测 CVE、越狱漏洞及代理失控风险，并透过网页 UI 和 REST API 呈现结果。

  • 项目
    ConardLi/easy-agent

    Easy Agent是一个基于终端的AI编码助手，可以在可配置的权限规则和可选的OS沙箱下读取、编辑和运行代码。它支持主要的LLM提供商，提供持久会话、通过插件/技能进行扩展，以及多种安全模式（计划、自动、默认）。通过npm安装，信任工作区，然后与REPL交互以提问、进行多文件更改、运行测试和撤销操作。