Dicklesworthstone/acip

解决的问题

ACIP 解决了大型语言模型（LLMs）易受提示注入攻击的漏洞。这些攻击从直接用户操纵（例如“忽略之前的指令”）到间接注入——恶意命令隐藏在检索到的文档、网页或工具输出（RAG）中——范围广泛。它特别针对心理操纵、混淆和多轮能力聚合等复杂方法。

工作原理

ACIP 是一个工程化提示的框架（提供多个版本），充当“认知免疫接种”。它通过提供明确的指令，帮助模型识别并中和威胁，从而增强模型的防御能力。关键机制包括：

• 指令层级结构：建立清晰的信任边界，系统和开发者指令优先于用户输入，不可信内容（如 RAG 结果）仅被视为数据，而非指令。
• 决策纪律：一种行为框架，指导模型在生成响应前对请求的风险等级（安全、敏感-允许、禁止）进行分类。
• 领域规则：针对高风险领域（网络安全、化学/生物、物理安全、自残、金融和隐私）的详细指南，确保一致的拒绝模式。
• 威胁识别：明确定义攻击向量，如“权威滥用”、“良性转换漏洞”和“隐蔽通道”，以填补攻击者用来绕过过滤器的语义空白。
• 渐进式响应：实施“棘轮”系统，当单次会话中反复出现可疑尝试时，模型会逐步减少拒绝响应的冗长程度。

适用对象

在生产环境中部署 LLM 的开发者和安全运营人员，特别是那些集成 RAG、外部工具或处理敏感高风险领域，需要强大输入验证和提示级防御的场景。

主要亮点

• 多版本方法：提供不同版本（v1.0、v1.2、v1.3），针对不同的令牌预算和风险配置文件进行优化。
• 审计模式：可选的机器可解析标签系统，供运营人员监控被阻止的攻击，而不会向用户泄露检测逻辑。
• RAG 增强：针对来自外部数据源的间接提示注入提供专门保护。
• 复合信号检测：为模型提供指导，使其能够识别多个弱风险信号组合成高风险攻击的情况。