liu00222/Open-Prompt-Injection

解决的问题

该工具包解决了集成LLM的应用程序和代理的安全漏洞，特别聚焦于提示注入攻击——即恶意输入欺骗模型忽略其原始指令，执行非预期任务。

工作原理

Open-Prompt-Injection 提供了一个框架，用于实现、评估和扩展攻击与防御。它采用模块化方法，通过工厂方法创建模型、任务和攻击者。在防御方面，提供由两个专用组件组成的流水线：

• DataSentinel：检测器，用于判断提示是否已被注入攻击污染。
• PromptLocate：工具，用于定位提示中被注入的部分，并恢复原始意图数据。

适用人群

专为安全研究人员、AI开发者和评估者设计，适用于需要对LLM应用在对抗性提示下的鲁棒性进行基准测试，或实现检测与恢复机制的场景。

主要亮点

• 端到端防御流水线：结合检测（DataSentinel）与定位（PromptLocate），从受攻击的提示中恢复干净数据。
• 可扩展框架：支持多种模型（如 PaLM2、Llama、GPT）以及通过 JSON 文件自定义攻击/防御配置。
• 评估指标：包含计算攻击成功率（ASV）的工具，用于量化注入攻击的有效性。
• 实验管理：提供强大的执行脚本，支持干运行、失败查询的指数退避机制，以及中断运行的检查点功能。