Greg Kroah-Hartman 关于 LLM 安全声明的见解:剖析 Mythos 的漏洞发现

核心观点

Greg Kroah-Hartman 揭露了 Anthropic 的 Mythos 所声称的 79 个 Linux 内核漏洞,其中 24 个无任何技术细节,14 个并非漏洞,3 个为伪造,许多漏洞早已修复——整个工作实际上仅耗时约一小时的内核开发。这削弱了 LLM 驱动安全的炒作,凸显了人工审查的必要性。


Mythos 的漏洞数量具有误导性

结论: "79 个漏洞" 的标题具有误导性,因为大多数条目要么不是问题,要么早已解决。

  • 24 个条目 未提供任何技术细节,仅描述为“某个地方崩溃了”。
  • 14 个条目 根本不是漏洞。
  • 3 个条目 完全是伪造的。
  • 15 个条目 已在最新内核版本中修复。
  • 11 个条目 是其他开发者贡献的修复,而非 Mythos 所为。
  • 4 个条目 源自 Anthropic 自己的代码。
  • 其余条目 为轻微或琐碎问题(例如对恶意文件系统镜像的假设、网络数据包注入,或小众网络栈)。

Greg 将真正的、新颖的修复称为“10 个‘真实’的漏洞修复”,强调列表的大部分内容都是噪音。

"Mythos 的 79 个漏洞:24 个——完全无细节……3 个——完全是捏造的数据……15 个——已在最新版本中修复" — usernomdeguerre (HN 评论)

修复速度揭示价值有限

结论: 所有“真实”修复总共仅需约一小时的内核开发工作,表明 LLM 并未带来显著的生产力提升。

  • 多位评论者指出,整个工作可归结为 一小时的内核开发。
  • 这种快速响应表明,大多数报告的问题要么修复起来微不足道,要么早已解决。

"他还说,这一切最终仅相当于一小时的内核开发工作。" — sriram_sun (HN 评论)

LLM 仍是“模糊模式匹配器”

结论: Greg 一再将 LLM 描述为模式匹配工具,而非真正的推理引擎,强调专家人工验证的必要性。

  • 他批评术语 hallucinate 过度拟人化了技术。
  • 演讲强调 LLM 执行的静态代码分析与现有工具类似,未提供任何新颖的安全洞察。

"他将 LLM 视为仅仅是‘模糊模式匹配’……他不喜欢‘hallucinate’这个词,因为它将人类特征赋予了计算机。" — 1vuio0pswjnm7 (HN 评论)

法律与伦理问题仍未解决

结论: 讨论提出了关于在 LLM 训练中使用受版权保护代码的未解法律问题,Linux 社区采取了放任态度。

  • Greg 引用 LG Research 表示,训练语料库中仅有 20% 的数据是法律上允许使用的。
  • 他将使用 LLM 生成的、与受版权保护材料相似代码的合法性问题交由法院裁决。
  • 未引用任何具体的 Linux 项目政策,表明治理方面存在空白。

"通用语料库中仅包含 20% 的合法可用数据……我们将让法院来处理这个问题。" — tombh (HN 评论)

社区反应凸显怀疑态度

结论: Hacker News 的评论者普遍认为 Mythos 被过度炒作,并强调人类专业知识的重要性。

  • 过度炒作: 多位用户称 Mythos “被高估”和“被过度宣传”。
  • 人工审查: 评论强调人类在可持续软件安全中的关键作用。
  • 工具协同: 有人建议,若搭配严格的验证流程,专业化的 LLM 可协助漏洞分类。

"终于正式确认了。Mythos 被过度炒作且被高估了。" — 1sgT15 (HN 评论)


为何此事重要

该事件凸显了一个更广泛的趋势:LLM 供应商可能夸大其安全能力以获取信任,而其在复杂、安全关键型代码库(如 Linux 内核)中的实际效用有限。开发者和安全团队应将 LLM 生成的发现视为 初步信号,而非确定的漏洞,并投入资源进行彻底的人工验证。


对实践者的启示

  1. 将 LLM 的漏洞报告视为低置信度警报。 对每个声明进行代码库和现有 CVE 数据库的验证。
  2. 保持严格的补丁归属记录。 为原始开发者署名;避免将修复归功于 LLM。
  3. 建立内部验证模型。 将 LLM 与静态分析和分类工具结合,以过滤误报。
  4. 关注法律动态。 监控关于受版权保护训练数据的法院案件和政策讨论。
  5. 保持透明沟通。 发布 LLM 衍生的安全发现时,披露方法和置信度水平。

总结

Greg Kroah-Hartman 的分析表明,Anthropic 的 Mythos 并未在内核安全方面带来突破;大多数报告的漏洞都是琐碎的、已修复的或伪造的。该事件警示我们不应盲目接受 LLM 驱动的安全声明,同时重申了专家人工监督的持久必要性。

Sources

相关