Greg Kroah-Hartman의 LLM 보안 주장에 대한 논평: Mythos 버그 발견 분석

핵심 요약

Greg Kroah-Hartman은 Anthropic의 Mythos가 79개의 리눅스 커널 취약점을 "발견"했다고 주장했지만, 그 중 24개는 세부 정보 없이 단지 "무언가 충돌했다"고만 기술되었고, 14개는 버그가 아니며, 3개는 완전히 조작된 것으로 밝혀졌다. 또한 많은 항목은 이미 수정된 상태였다. 전체 작업은 약 1시간의 커널 개발 작업에 불과했다. 이는 LLM 기반 보안의 과대포장에 대한 반증이며, 인간 검토의 필수성을 보여준다.


Mythos의 버그 수는 오해를 불러일으킨다

결론: "79개의 취약점"이라는 헤드라인은 대부분의 항목이 문제 없거나 이미 해결된 상태였기 때문에 오해를 불러일으킨다.

  • 24개 항목은 기술적 세부 정보를 제공하지 않았으며, 단지 "무언가 충돌했다"고만 기술되었다.
  • 14개 항목은 실제로 버그가 아니었다.
  • 3개 항목은 완전히 조작된 것이다.
  • 15개 항목은 최신 커널 릴리스에서 이미 수정된 상태였다.
  • 11개 항목은 다른 개발자들이 기여한 수정사항이었으며, Mythos의 기여가 아니었다.
  • 4개 항목은 Anthropic 자체 코드에서 유래되었다.
  • 나머지 항목들은 미묘하거나 단순한 문제들(예: 악성 파일 시스템 이미지에 대한 가정, 네트워크 패킷 주입, 특수한 네트워킹 스택 등)이었다.

Greg은 진정한 새로운 수정사항을 "10개의 '실제' 버그 수정"으로 지칭하며, 목록의 대부분이 잡음임을 강조했다.

"Mythos의 79개 취약점: 24개 – 전혀 세부 정보 없음 … 3개 – 완전히 조작된 데이터 … 15개 – 최신 릴리스에서 이미 수정됨" – usernomdeguerre (HN 댓글)

수정의 속도는 제한된 가치를 보여준다

결론: 전체 "실제" 수정 작업은 약 1시간의 커널 개발 작업으로 요약되며, LLM이 생산성 향상에 실질적인 기여를 하지 못했음을 보여준다.

  • 여러 댓글러들이 작업이 커널 개발 작업 1시간으로 요약됨을 지적했다.
  • 이 빠른 처리 속도는 대부분의 문제들이 수정하기 쉬웠거나 이미 해결된 상태였음을 시사한다.

"그는 또한 이 모든 작업이 단지 커널 개발 작업 1시간으로 요약된다고 말했다." – sriram_sun (HN 댓글)

LLM은 여전히 '모호한 패턴 매칭기'다

결론: Greg은 LLM을 진정한 추론 엔진이 아니라 패턴 매칭 도구로 반복적으로 설명하며, 전문가의 인간 검토가 여전히 필수임을 강조했다.

  • 그는 "홀루시네이션(hallucinate)"이라는 용어를 기술에 인간의 성향을 부여하는 것으로 비판했다.
  • 강연에서는 LLM이 기존 도구와 유사한 정적 코드 분석을 수행하며, 새로운 보안 통찰을 제공하지 못함을 강조했다.

"그는 LLM을 단지 '모호한 패턴 매칭'에 불과하다고 설명한다… 그는 '홀루시네이션'이라는 용어를 컴퓨터에 인간의 성향을 부여하는 것으로 마음에 들지 않는다." – 1vuio0pswjnm7 (HN 댓글)

법적 및 윤리적 문제는 여전히 해결되지 않았다

결론: LLM 훈련에 저작권 보호 코드를 사용하는 문제에 대해 해결되지 않은 법적 질문이 제기되었으며, 리눅스 커뮤니티는 관여하지 않는 태도를 취하고 있다.

  • Greg은 LG Research의 말을 인용해, 훈련 코퍼스의 20%만이 법적으로 사용 가능한 데이터라고 밝혔다.
  • 저작권 보호된 자료를 모방한 LLM 생성 코드의 합법성에 대해서는 법원에 맡기기로 했다.
  • 구체적인 리눅스 프로젝트 정책은 언급되지 않아, 거버넌스의 공백이 있음을 시사한다.

"일반 코퍼스에는 법적으로 사용 가능한 데이터가 단지 20%만 포함되어 있다… 우리는 법원이 이 문제를 처리하도록 하자." – tombh (HN 댓글)

커뮤니티 반응은 회의적 시각을 드러낸다

결론: 허커 뉴스 댓글러들은 대부분 Mythos가 과대평가되었으며, 인간 전문성의 중요성을 강조한다.

  • 과대포장: 여러 사용자가 Mythos를 "과소평가된" 또는 "과대포장된" 것으로 평가했다.
  • 인간 검토: 댓글들은 인간의 역할이 지속 가능한 소프트웨어 보안에 필수적임을 강조했다.
  • 도구의 융합: 일부는 엄격한 검증 파이프라인과 결합된 전문적인 LLM이 트리지(선별)에 도움이 될 수 있다고 제안했다.

"마침내 공식적으로 확인되었다. Mythos는 과대포장되었고 과소평가되었다." – 1sgT15 (HN 댓글)


왜 이 문제가 중요한가

이 사건은 더 넓은 패턴을 드러낸다: LLM 공급업체는 신뢰를 얻기 위해 보안 능력을 과장할 수 있으며, 리눅스 커널과 같은 복잡하고 안전이 중요한 코드베이스에 대한 실제 유용성은 제한적이다. 개발자와 보안 팀은 LLM이 생성한 발견을 초기 신호로만 간주하고, 결론적인 취약점으로 보지 않으며, 철저한 인간 검증을 위한 자원을 배분해야 한다.


실무자들을 위한 교훈

  1. LLM 버그 보고를 낮은 신뢰도 경고로 간주하라. 각 주장이 코드베이스와 기존 CVE 데이터베이스와 일치하는지 확인하라.
  2. 철저한 패치 기여자 기록을 유지하라. 원래 개발자에게 기여를 인정하고, 수정사항을 LLM에게 기여한 것으로 잘못 기록하지 마라.
  3. 내부 검증 모델을 개발하라. LLM을 정적 분석 및 트리지 도구와 결합하여 가짜 긍정(false positive)을 필터링하라.
  4. 법적 동향을 지속적으로 모니터링하라. 저작권 보호 훈련 데이터에 관한 법원 판결과 정책 논의를 주시하라.
  5. 투명하게 소통하라. LLM 기반 보안 발견을 공개할 때는 방법론과 신뢰 수준을 공개하라.

결론

Greg Kroah-Hartman의 분석은 Anthropic의 Mythos가 커널 보안 분야에서 돌파구를 제공하지 못했음을 보여준다. 보고된 대부분의 버그는 미묘하거나 이미 수정되었거나, 조작된 것이다. 이 사건은 LLM 기반 보안 주장에 비판적 사고 없이 수용하는 것을 경계하는 경고 사례이며, 전문가의 인간 감시가 여전히 필수임을 강화한다.

Sources

관련