Greg Kroah-Hartman 對 LLM 驅動的安全漏洞發現的評論

Linux 內核維護者 Greg Kroah-Hartman（GKH）最近對大型語言模型（LLMs）在軟體安全中的角色提供了務實的分析，特別針對自動化漏洞發現的炒作。他的主要結論是，儘管 LLM 可以產生大量報告，但它們仍然是「愚蠢的模糊模式匹配器」，經常無法產生可操作或重要的安全發現。

Mythos 案例研究：被誇大的漏洞發現

Greg Kroah-Hartman 強調了一個具體案例，涉及 Mythos——一個基於 LLM 的工具，聲稱在 Linux 內核中發現了 79 個漏洞。根據 GKH 的觀點，這些發現的實際價值極低，因為大多數報告不是錯誤，就是微不足道的修復。

在 Mythos 報告的 79 個漏洞中，GKH 提供了以下分解：

非錯誤與誤報： 24 個報告完全沒有細節（僅說「某處崩潰」），14 個根本不是錯誤，3 個包含完全捏造的資料。
已有修復： 15 個已在最新版本中修復，11 個由其他人修復。
可操作但微不足道： 僅有 20 個報告需要實際修復。其中 7 個假設惡意檔案系統映像，6 個是未受信任裝置的 SCTP 網路問題，2 個是 IPv6 的次要網路問題，2 個假設能將惡意網路封包注入堆疊中間。

GKH 總結，此舉僅產生「10 個真正的錯誤修復」，而處理這些報告的整個過程僅耗費約一小時的內核開發工作。

根據 GKH 的說法，LLM 在發現錯誤時所表現出的「智慧」實際上是一種基於模式匹配的進階靜態程式碼分析。具體而言，Mythos 透過模式匹配過去數十年的內核開發者修補程式，並將這些機制應用於程式碼的其他部分，以檢測是否存在類似模式。

這種方法並不代表一種新的錯誤發現范式，而只是重現了現有的靜態分析技術。結果是產生大量報告，但往往缺乏專業安全研究者維持高品質所需的深度。

LLM 在安全領域引入的一個關鍵挑戰，是生成報告與驗證報告之間的成本不對稱。雖然 LLM 可以近乎免費地生成數千份報告，但人工驗證的成本卻保持不變。

"不對稱性才是致命的：報告現在幾乎免費生成，但驗證成本卻完全不變。"

這對維護者造成了負擔，他們必須花費大量時間處理大量低品質報告，其中可能包含高比例的誤報。

GKH 也談到了 LLM 訓練資料的法律問題。他引用 LG Research 指出，一些常見語料庫中僅有 20% 的資料是合法可使用的。這表明 LLM 訓練資料的顯著部分來自版權或受限制的材料，且未獲得適當授權，這是一個法律領域，Linux 項目仍在等待法院對這些爭議的判決結果。

對於將 LLM 整合到工作流程中的開發者，GKH 強調兩項主要原則：