Anthropic 与 CMU 关于 LLM 网络安全工具包的研究

Anthropic 与卡内基梅隆大学（Carnegie Mellon University）的 CyLab 已经证明，即使是没有针对网络安全进行专门微调的大语言模型（LLMs），在配备了专门的工具包时，也能在包含数十个主机的网络中成功执行多阶段网络攻击。这项研究强调了一条路径，即 LLM 可能会降低复杂网络攻击的门槛，同时为自动化网络防御工作流提供框架。

Incalmo 工具包与 LLM 性能

Incalmo 是一个网络安全工具包，它充当翻译器的角色，将 LLM 的高层级攻击规划转换为执行攻击所需的特定计算机命令。研究发现，使用 Incalmo 的 LLM 在入侵模拟网络方面的成功率明显高于未使用该工具包的 LLM。

  • 成功率： 配备 Incalmo 的 LLM 成功完全入侵了 10 个测试网络中的 5 个，并部分入侵了其他 4 个。相比之下，未使用该工具包的 LLM 几乎完全失败。
  • 攻击复杂度： 成功的攻击涉及编排复杂的序列，包括获取初始网络访问权限、在系统之间进行横向移动，以及在由 25-50 个主机组成的网络中进行数据窃取。
  • 基准性能： 在没有 Incalmo 的情况下，没有经过测试的 LLM 在十个环境中实现了任何端到端的多阶段攻击。只有 Claude Sonnet 3.5 能够在 4 层链式环境中窃取单个文件。

模拟场景与结果

研究人员在十个模拟网络中测试了六个 LLM，其中包括对历史入侵事件的高保真模拟。

  • Equifax 数据泄露模拟： 使用 Incalmo 时，所有测试的模型在模拟 Equifax 数据泄露时都至少取得了部分成功。
  • Colonial Pipeline 模拟： 除了一个 LLM 之外，所有 LLM 在模拟 Colonial Pipeline 攻击时都展示了完整或部分成功。
  • 操作参数： 攻击是由 LLM 自主执行的，人工干预极少；提示词（prompting）仅限于引入场景、目标和 Incalmo 工具包。

技术局限性与约束

虽然结果展示了能力的提升，但研究人员指出了当前研究状态的几个关键局限性：

  • 已知漏洞： 攻击依赖于已知漏洞，而非发现新的（零日）漏洞。
  • 场景特定工具： Incalmo 中的某些工具是专门为研究场景开发的，这意味着要威胁现实世界的网络，需要开发新的工具。
  • 缺乏主动防御： 模拟网络缺乏主动防御，这使得它们比现实世界的环境更容易被入侵。

对网络攻击与防御的影响

LLM 自动化复杂攻击链的能力表明，随着模型的规模扩大和工具包的改进，进行多阶段攻击所需的成本和技能可能会降低。

攻击性风险

LLM 的通用规模化提升了这些能力。例如，在两者都无法访问 Incalmo 的场景中，Claude Sonnet 3.5 的表现优于较小的 Claude Haiku 3.5。研究人员警告说，随着使用 LLM 的成本降低和能力的提升，恶意行为者可能会发现执行复杂攻击变得更加容易。

防御性机会

LLM 模拟人类网络攻击特征的能力为自动化渗透测试提供了机会。这可以显著加速网络漏洞的识别与修复。

未来研究方向

需要进一步的研究来了解通过特定的网络安全微调可能带来的性能提升，以及基于 LLM 的攻击者针对具有主动防御的网络时的有效性。

Sources

相关