그레그 크로아-하트먼의 LLM 기반 보안 취약점 탐지 논평

Linux 커널 유지보수자인 그레그 크로아-하트먼(GKH)은 최근 대규모 언어 모델(LLM)이 소프트웨어 보안 분야에서 차지하는 역할에 대해 실질적인 분석을 제공했다. 특히 자동화된 취약점 탐지에 대한 과도한 기대를 비판하며, LLM이 높은 수의 보고서를 생성할 수는 있지만, 실제로는 종종 실행 가능한 또는 의미 있는 보안 발견을 하지 못하는 '무지한 흐릿한 패턴 매칭기'라는 점을 강조했다.

미스토스 사례 연구: 과도하게 떠들썩한 취약점 탐지

그레그 크로아-하트먼은 LLM 기반 도구인 미스토스(Mythos)가 Linux 커널에서 79개의 취약점을 발견했다고 주장한 사례를 언급했다. GKH에 따르면, 실제로 이러한 발견의 유용성은 매우 낮았으며, 대부분의 보고서는 버그가 아니거나 매우 단순한 수정이었다.

미스토스가 보고한 79개 취약점의 분석

미스토스가 보고한 79개의 취약점 중 GKH는 다음과 같은 분류를 제공했다:

버그가 아닌 것 및 거짓 긍정: 24건은 전혀 세부 정보가 없었으며(단지 "무언가가 충돌했다"고만 기술), 14건은 버그가 아니었고, 3건은 완전히 허위로 만들어진 데이터를 포함했다.
이미 수정된 사항: 15건은 최신 릴리스에서 이미 수정되었으며, 11건은 다른 사람이 수정했다.
실제로 수정이 필요한 사항이지만 미묘한 것: 총 20건의 보고서가 실제 수정이 필요했다. 이 중 7건은 악성 파일 시스템 이미지를 가정한 것이며, 6건은 신뢰할 수 없는 장치에 대한 SCTP 네트워킹 문제였고, 2건은 IPv6의 소규모 네트워크 문제였으며, 2건은 네트워크 스택 중간에 악성 패킷을 주입할 수 있다고 가정한 것이다.

GKH는 이 작업이 겨우 "10개의 '진짜' 버그 수정"에 그쳤으며, 이러한 보고서를 처리하는 데 약 1시간의 커널 개발 작업이 소요되었다고 결론지었다.

기술적 메커니즘: 패턴 매칭 vs. 진정한 분석

GKH에 따르면, LLM이 버그를 발견하는 데 보이는 "지능"은 사실 이전 수십 년간 커널 개발자들이 제출한 패치들을 기반으로 한 고급 정적 코드 분석을 수행하는 패턴 매칭의 일종이다. 구체적으로 미스토스는 과거의 커널 개발 패치들을 패턴 매칭하여, 코드의 다른 부분에도 유사한 패턴이 존재하는지 확인하는 방식으로 작동했다.

이 접근 방식은 새로운 버그 탐지 패러다임을 의미하는 것이 아니라, 기존의 정적 분석 기법을 재현하는 것에 불과하다. 그 결과는 종종 전문 보안 연구자가 인간 전문가 수준의 품질을 유지하기 위해 필요한 깊이를 갖추지 못한 높은 수의 보고서가 생성되는 것이다.

보고서 생성과 검증의 비대칭성

LLM이 보안 분야에 도입하면서 발생하는 핵심 과제 중 하나는 보고서 생성 비용과 검증 비용 사이의 비대칭성이다. LLM은 거의 무료로 수천 건의 보고서를 생성할 수 있지만, 인간이 검증하는 비용은 여전히 동일하다.

"비대칭성이 가장 치명적이다: 보고서 생성은 이제 거의 무료지만, 검증 비용은 정확히 동일하게 유지되고 있다."

이로 인해 유지보수자들은 낮은 품질의 보고서를 대량으로 처리해야 하는 부담을 떠안게 되며, 이 중 대부분은 거짓 긍정을 포함할 가능성이 높다.

LLM 학습에 대한 법적 및 윤리적 우려

GKH는 또한 LLM 학습에 사용되는 데이터의 법적 문제에 대해서도 언급했다. LG 연구소를 예로 들며, 일부 일반적인 데이터 코퍼스는 법적으로 사용이 허용된 데이터만 20% 정도 포함하고 있다고 지적했다. 이는 LLM 학습에 사용되는 상당 부분의 데이터가 저작권 보호되거나 제한된 자료에서 무단으로 수집된 것임을 시사하며, 이는 법적 영역으로서 Linux 프로젝트가 법원이 이 사건들을 어떻게 판단할지 기다리고 있는 상황이다.

LLM을 사용하는 개발자를 위한 최선의 실천 방법

LLM을 개발 워크플로우에 통합하는 개발자들을 위해 GKH는 두 가지 주요 원칙을 강조한다:

코드를 우선시하라: "주석은 무시하고 코드를 보라"고 조언하며, LLM이 제공하는 설명은 혼란스럽거나 틀릴 수 있지만, 코드 자체만이 신뢰할 수 있는 진실의 유일한 소스임을 강조한다.
데이터 프라이버시: 소비자용 LLM에 비공개 정보(예: 자격 증명, 기밀 연구 자료 등)를 업로드하지 말 것을 경고하며, 이러한 데이터는 종종 학습에 사용되며 향후 출력에서 다른 사용자에게 유출될 수 있음을 지적한다.