Greg Kroah-Hartman 关于 LLM 驱动的安全漏洞发现

Linux 内核维护者 Greg Kroah-Hartman (GKH) 最近对大型语言模型 (LLMs) 在软件安全中的作用提供了务实的分析，特别针对自动化漏洞发现的炒作。他的主要观点是，尽管 LLM 可以生成大量报告，但它们仍然是“笨拙的模糊模式匹配器”，往往无法产生可操作或有意义的安全发现。

Mythos 案例研究：被夸大的漏洞发现

Greg Kroah-Hartman 指出一个具体案例，涉及 Mythos——一个基于 LLM 的工具，声称在 Linux 内核中发现了 79 个漏洞。根据 GKH 的说法，这些发现的实际价值极低，因为大多数报告要么不是真正的漏洞，要么只是微不足道的修复。

在 Mythos 报告的 79 个漏洞中，GKH 提供了以下分解：

非漏洞和误报： 24 个报告完全没有细节（仅称“某处崩溃”），14 个根本不是漏洞，3 个包含完全虚构的数据。
已有修复： 15 个已在最新版本中修复，11 个已被他人修复。
可操作但微不足道： 只有 20 个报告需要实际修复。其中 7 个假设存在恶意文件系统镜像，6 个是针对不受信任设备的 SCTP 网络问题，2 个是 IPv6 的次要网络问题，2 个假设能够将恶意网络数据包注入堆栈中间。

GKH 得出结论，这一努力仅带来了“10 个真正的补丁修复”，而处理这些报告的整个过程仅耗费了大约一小时的内核开发工作量。

根据 GKH 的说法，LLM 在发现漏洞时所表现出的“智能”实际上是一种基于模式匹配的高级静态代码分析。具体而言，Mythos 通过匹配过去几十年内核开发者补丁的模式，并将这些机制应用于代码的其他部分，以检查是否存在类似模式。

这种方法并不代表漏洞发现的新范式，而只是对现有静态分析技术的复现。结果是生成了大量报告，但往往缺乏专业安全研究人员维持高质量所需的深度。

LLM 在安全领域引入的一个关键挑战是生成报告与验证报告之间的成本不对称。虽然 LLM 几乎可以免费生成数千份报告，但人工验证的成本却保持不变。

"不对称性才是致命的：现在生成报告几乎免费，但验证成本却完全不变。"

这给维护者带来了负担，他们必须花费大量时间处理大量低质量报告，其中可能包含极高比例的误报。

GKH 还提到了 LLM 训练数据的合法性问题。他引用 LG Research 指出，一些常见语料库中仅有 20% 的数据是合法可用的。这表明 LLM 训练数据的很大一部分来自受版权保护或受限的材料，且未经适当授权，这一法律领域仍需 Linux 项目继续应对，等待法院对这些争议的裁决结果。

对于将 LLM 集成到工作流中的开发人员，GKH 强调了两条主要原则：