Codex 与 Claude Code 之后的 AI 安全

AI 安全的新范式

AI 安全并非仅仅是“带有 AI 的网络安全”，而是一门独立的学科，因为大型语言模型（LLM）具有与传统软件根本不同的固有漏洞。传统软件的错误，如缓冲区溢出，有明确的修复办法，而 AI 系统可以被以类似人类欺骗的方式“欺骗”，从而产生新类别的利用手段。

由于许多组织依赖少数前沿模型（例如支撑 Codex 和 Claude Code 的模型），单一漏洞可能导致整个庞大代理生态系统出现关联性故障。这一转变要求安全思维将 AI 模型视为不可信实体，而非可靠的软件组件。

代理漏洞的“致命三要素”

AI 代理的安全风险主要由三因素组合驱动，称为“致命三要素”。当这三要素重叠时，通常会发生漏洞：

  1. 不可信数据摄取：代理从用户无法控制的外部来源获取并解析数据（例如浏览网页或读取电子邮件）。
  2. 访问私密信息：代理拥有访问敏感内部数据或凭证的权限。
  3. 外泄能力：代理具备将这些私密信息发送到外部不可信位置的工具。

若缺少其中任意一项，风险会显著降低。例如，仅生成文本且没有工具访问权限的代理无法外泄数据，而在纯可信环境中运行的代理也不易受到间接提示注入的影响。

自动化红队与 “Shade” 系统

传统的红队——使用人工寻找模型缺陷——正被自动化系统超越。Gray Swan 开发了名为 Shade 的系统，这是一种自动化红队模型，能够在固定时间内比人工红队员更快发现漏洞。

LLM 作为外星智能

红队工作表明，LLM 的行为类似于一种“外星智能”。它们会对人类永远不会上当的触发器产生反应，却对通常能欺骗人类的手段保持稳健。这种差异意味着，仅仅扩大模型（让其更大）并不会自动提升其对抗对手压力的鲁棒性；鲁棒性必须通过显式训练获得。

人类与代理的鲁棒性差距

在将人类浏览器用户与 AI 浏览器代理进行对比的实验中，结果显示人类和代理因不同原因而失败。虽然熟练的红队员可以以 60-70% 的成功率“钓”人类，但一些前沿模型对传统网络钓鱼出奇地稳健，却会被荒唐的提示所欺骗——例如一封声称是模拟的邮件，要求将所有邮件转发到随机地址，这种请求没有任何人会遵从。

防御代理：Cygnal 防护模型

仅靠提示不足以满足企业安全需求——因为代理常常将系统指令与不可信输入混淆——Gray Swan 开发了 Cygnal。

Cygnal 是一种专用过滤模型，位于 LLM 与其工具调用之间。不同于通用模型，Cygnal 专门训练用于检测政策违规并抵御对抗性压力。它提供了可配置的层，企业可以在此强制执行特定规则（例如“该代理永远不能访问此特定数据库”），这些规则对硬编码的 Python 脚本而言过于模糊，但又太关键，不能交由基础模型自行决定。

AI 安全与合规的未来

随着 AI 代理从家庭设备转向企业环境（例如通过 OpenClaw 等工具），行业正朝着结构化的安全与保险体系迈进。

原生代理身份

对“原生代理身份”的需求日益增长，摆脱代理默认继承人类用户全部权限的做法。未来可能让代理使用不同的“角色”或配置文件，以区分工作与生活，防止特权升级和意外的数据泄露。

AI 保险与 “Gray Swan” 事件

“Gray Swan” 一词指的是在发生前已明显可见的极不可能事件。创始人认为一次重大且公开的提示注入泄露是不可避免的。这一现实推动了 AI 承保和保险的出现，第三方审计员使用红队工具（如 Shade）评估风险，并在公司获得保险前规定缓解措施（如 Cygnal）。

自动化 AI 科学

最有前景的前沿之一是利用 AI 代理自动化可解释性科学和安全编码。通过让代理对模型激活模式进行数千次反事实实验，或编写形式化验证的安全代码，行业能够以比人工研究更快的速度扩展保障 AI 系统所需的“智能”。

Sources