Greg Kroah-Hartman on LLM Security Claims: Mythos Bug Findings Deconstructed

重要なポイント

Greg Kroah-Hartman は、Anthropic の Mythos が Linux カーネルの脆弱性を 79 個「発見」したと主張したが、そのうち 24 個は詳細がなく、14 個はバグではなく、3 個は完全に捏造され、多くのバグはすでに修正済みであった。この全体的な作業は実際にはカーネル開発に約 1 時間しかかかっておらず、LLM によるセキュリティの革新という主張は誇張されていることを示している。この事実は、人間によるレビューが依然として不可欠であることを強調している。


Mythos のバグ数は誤解を招く

結論: 「79 個の脆弱性」という見出しは、実際にはほとんどが問題ではないか、すでに解決済みであるため、誤解を招くものである。

  • 24 個の項目は技術的な詳細が一切提供されておらず、「何かがクラッシュした」という記述のみであった。
  • 14 個の項目はバグそのものではなく、単なる誤解や誤操作に起因するものであった。
  • 3 個の項目は完全に捏造されたデータであった。
  • 15 個の項目は最新のカーネルリリースで既に修正済みであった。
  • 11 個の項目は他の開発者による修正であり、Mythos が貢献したものではなかった。
  • 4 個の項目は Anthropic 自身のコードから発生したものであった。
  • 残りの項目は微細な問題や trivial なもの(例:悪意あるファイルシステムイメージの仮定、ネットワークパケットの注入、特殊なネットワークスタックに関する問題)であった。

Greg は、本物で新規の修正を「10 個の『本物』のバグ修正」として評価し、リストの大部分がノイズであることを強調している。

"Mythos の 79 個の脆弱性:24 – 詳細なし … 3 – 完全に捏造されたデータ … 15 – 最新リリースで既に修正済み" — usernomdeguerre (HN コメント)

修正のスピードが示す限界の価値

結論: 本物の修正のすべてを含むセットは、実際にはカーネル開発に約 1 時間しかかかっておらず、LLM が生産性を大幅に向上させたとは言えないことを示している。

  • 複数のコメント者が、この作業が カーネル開発に約 1 時間 にすぎないと指摘した。
  • この迅速な対応は、報告された問題の大部分が修正が容易であるか、すでに解決済みであったことを示唆している。

"彼はまた、すべての作業がたった 1 時間のカーネル開発作業にすぎないと述べた。" — sriram_sun (HN コメント)

LLM は依然として「曖昧なパターンマッチャー」

結論: Greg は、LLM が真の推論エンジンではなく、パターンマッチングツールに過ぎないと繰り返し述べ、専門家の人間による検証の必要性を強調している。

  • 彼は「 hallucinate 」という用語を人間化していると批判し、技術に人格を投影していると指摘した。
  • 講演では、LLM が既存のツールと同様の静的コード解析を実行しており、新たなセキュリティの洞察を提供していないことが強調された。

"彼は LLM を『曖昧なパターンマッチング』に過ぎないと呼んでいる… 彼は『 hallucinate 』という用語を好まない。それはコンピュータに人格を投影しているからだ。" — 1vuio0pswjnm7 (HN コメント)

法的・倫理的懸念は未解決のまま

結論: LLM の学習に著作権のあるコードを使用する問題について、法的側面は未解決であり、Linux コミュニティは手をこまぬままにしている。

  • Greg は LG Research の発言を引用し、学習コーパスの 20 % しか法的に使用可能ではない と述べた。
  • 著作権のある資料を模倣した LLM 生成コードの合法性については、裁判所に委ねることを表明した。
  • Linux プロジェクトの明確なポリシーは提示されておらず、ガバナンスのギャップが存在していることを示している。

"一般的なコーパスには legally allowed-to-be-used データがたった 20% しか含まれていない… それは裁判所に任せる。" — tombh (HN コメント)

コミュニティの反応は懐疑的を示す

結論: Hacker News のコメントでは、Mythos が過大評価されており、人間の専門知識の重要性が強調されている。

  • 過大評価: 複数のユーザーが Mythos を「過小評価されている」や「過大評価されている」と呼んだ。
  • 人間によるレビュー: コメントでは、持続可能なソフトウェアセキュリティのために人間の存在が不可欠であると強調された。
  • ツールの連携: 一部のコメントでは、厳格な検証パイプラインと組み合わせた専門的な LLM が、トリージャーの支援に役立つ可能性があると提案された。

"ついに公式に認められた。Mythos は過大評価され、過小評価されていた。" — 1sgT15 (HN コメント)


なぜこれが重要なのか

この出来事は、より広いパターンを示している:LLM ベンダーは信頼を得るためにセキュリティ能力を誇張する傾向があり、Linux カーネルのような複雑で安全が重要なコードベースにおける実際の有用性は限定的である。開発者やセキュリティチームは、LLM が生成した発見を 初期のサイン と捉え、決定的な脆弱性とはせず、徹底的な人間による検証にリソースを割くべきである。


実践者への教訓

  1. LLM のバグ報告を低信頼度のアラートとして扱う。 各主張をコードベースおよび既存の CVE データベースと照合して検証する。
  2. 厳格なパッチの帰属を維持する。 原作者にクレジットを。LLM に修正を帰属させない。
  3. 内部の検証モデルを開発する。 LLM を静的解析やトリージャーツールと組み合わせ、誤検出をフィルタリングする。
  4. 法的動向を把握し続ける。 著作権のある学習データに関する裁判や政策議論を注視する。
  5. 透明性を保つ。 LLM 由来のセキュリティ発見を公開する際は、手法と信頼度を明示する。

最も重要なポイント

Greg Kroah-Hartman の分析により、Anthropic の Mythos がカーネルセキュリティにおいて画期的な成果を上げたわけではないことが明らかになった。報告されたバグの多くは微細なもの、すでに修正済み、あるいは捏造されていた。この出来事は、LLM によるセキュリティ主張を盲目的に受け入れるリスクを警告する教訓となり、専門的な人間の監視の重要性が依然として根強いことを再確認している。

Sources

関連