Joe-B-Security/awesome-prompt-injection

概述

awesome-prompt-injection 是一个由社区维护的精选资源列表，专注于提示注入——一种基于大型语言模型（LLM）的AI系统中的安全漏洞。README解释了攻击者可以在模型读取的文本中嵌入隐藏指令，诱使其执行非预期操作。该项目收集了文章、教程、研究论文、工具和训练挑战的链接，帮助人们理解、测试和缓解这一风险。

包含内容

该仓库分为清晰的几个部分：

• 引言 – 对提示注入的通俗解释，包括其直接和间接形式、为何危险，以及为何没有完美的防御。
• 入门资源 – 关键参考，如OWASP的LLM Top 10和Meta的“双重规则”框架。
• 文章与博客 – 行业专家的深入分析和真实案例（例如Simon Willison、Microsoft、OpenAI、Snyk）。
• 教程 – 动手实践指南和视频，边做边学。
• 研究论文 – 涵盖攻击技术、防御策略和基准的学术论文（例如自适应攻击、工具劫持）。
• 工具 – 用于扫描、检测或遏制提示注入的开源软件（例如Garak、OWASP Agent Memory Guard、Augustus）。
• CTF – 免费训练平台和夺旗挑战，如Gandalf和PromptTrace。
• 社区与贡献 – 参与方式的指引。

目的

它作为单一入口点，供任何需要理解、测试或防御提示注入的人使用。README本身说明该领域正在发展，没有已知的通用修复方法，因此精选资源侧重于实用方法（如限制被攻破模型的能力），而非完美检测。

目标受众

该列表面向开发者、安全专业人员、研究人员和AI爱好者，他们构建或审计基于LLM的应用。它既适合学习基础知识，也适合跟进高级技术。

显著亮点

• README自身的引言是对提示注入为何是严重安全问题的清晰、非技术性解释。
• 它链接到最新研究，表明即使是已发布的防御也可能被自适应攻击绕过——强调需要强大的架构性防护。
• 资源涵盖攻击和防御两个视角，包括渗透测试和遏制工具。

简而言之，该项目是一个活的书目，追踪AI驱动软件中最紧迫安全挑战之一的最新进展。