사이버 보안의 AI 군비 경쟁: 해커가 제로데이를 찾기 위해 LLM을 사용하는 경우
Google은 최근 범죄 해커들이 AI 모델을 활용하여 주요 소프트웨어 취약점을 발견하고 무기화했다고 보고했습니다. 이 뉴스는 사이버 보안 커뮤니티에 파장을 일으켰을 뿐만 아니라, 현대 소프트웨어의 "attack surface"에 미치는 AI의 실제 영향에 대해 개발자와 보안 연구원들 사이에서 격렬한 논쟁을 불러일으켰습니다.
수년 동안 "zero-day" 익스플로잇(취약점)—소프트웨어 벤더가 알지 못하는 취약점—을 찾는 능력은 고도로 숙련된 연구원이나 막대한 자원을 가진 국가 지원 행위자의 영역이었습니다. 대규모 언어 모델(LLMs)의 등장은 복잡한 소프트웨어 결함을 발견하기 위한 진입 장벽을 낮춤으로써 이러한 패러다임을 변화시킬 위협이 있습니다.
Exploit 경제학의 변화
전통적으로 치명적인 결함을 찾기 위해서는 어셈블리 코드에 대한 심층적인 수동 분석이나 전문적인 fuzzing 도구의 사용이 필요했습니다. 그러나 LLMs가 코드를 분석하고 패턴을 제안하는 능력이 향상됨에 따라, 해킹의 경제학이 변하고 있습니다.
커뮤니티의 한 가지 핵심 통찰은 공격자의 "failure cost"가 놀라울 정도로 낮다는 것입니다. user @gman2093이 언급했듯이, 공격자는 단 한 번만 성공하면 되며, 이는 LLMs의 내재적인 "hallucinations" 또는 부정확성이 성공적인 침해의 막대한 보상에 비하면 사소한 장애물에 불과함을 의미합니다.
나아가, 이러한 지식의 민주화는 우려스러운 부분입니다. 지난 수십 년 동안 고급 보안 지식은 교육과 경험에 의해 제한되었습니다. 이제 그 지식은 프롬프트를 통해 접근 가능합니다. 이는 냉혹한 가능성으로 이어집니다: 소프트웨어를 깨뜨리는 도구가 API 키를 가진 누구에게나 제공된다면, "공공" 소프트웨어의 시대는 근본적으로 훼손될 수 있습니다.
회의론과 "AI 내러티브"
경고에도 불구하고, 많은 기술적 관찰자들은 이러한 주장이 어떻게 구성되었는지에 대해 회의적인 태도를 유지하고 있습니다. 논의에서 반복되는 주제는 Google이 이 특정 공격에 AI가 사용되었다는 것에 대해 어떻게 "high confidence"에 도달했는지에 대한 투명성 부족입니다. 공격자의 채팅 로그나 압수된 하드웨어에 접근할 수 없다면, 취약점 발견을 AI의 공으로 돌리는 것은 종종 추측에 불과하다고 비판론자들은 주장합니다.
또한 "위험한 AI"라는 내러티브가 기업적 또는 정치적 이득을 위해 활용되고 있다는 의심도 있습니다. 여러 논평가들은 AI 기반 공격의 위험성을 강조함으로써 기업들이 다음과 같은 목적으로 로비할 수 있다고 제안했습니다:
- Restrictive Legislation: 모델 출시 전 정부의 검증을 추진하는 것.
- Closed Ecosystems: 고성능 모델을 "trusted partners" 또는 정부 기관으로 제한하는 것을 정당화하는 것 (Anthropic의 Mythos 모델에서 볼 수 있듯이).
- Identity Verification: 보안을 구실로 LLM 접근을 위해 생체 인식이나 정부 신분증을 요구하는 것.
"보안은 사이퍼펑크 기술을 악마화하고 제한하는 데 사용되어 왔듯이, open-weight 및 local LLMs의 정교함을 제한하기 위한 쐐기로 사용될 것입니다,"라고 user @sowbug가 경고합니다.
방어적 반론
만약 "나쁜 놈의 AI"가 결함을 찾을 수 있다면, 논리적인 질문은 "착한 놈의 AI"가 그것을 더 빠르게 패치할 수 있는지 여부입니다. AI 기반 방어의 잠재력은 상당합니다: 조 단위 달러 규모의 기업들은 해커들이 사용하는 것과 동일한 패턴을 스캔하기 위해 전체 코드베이스를 LLMs에 배포하여, 이전에는 불가능했던 규모로 패치 프로세스를 자동화할 수 있습니다.
하지만 이것도 도전 과제가 있습니다. 일부 연구원들은 AI가 생성한 코드가 전체 시스템 동작에 "blind"할 수 있다고 주장합니다. 즉, 사소한 오류는 찾을 수 있지만 시스템적인 아키텍처 결함은 놓칠 수 있다는 의미입니다. 또한, 발견의 속도가 배포의 속도보다 빠를 수 있습니다. 특히 Debian과 같은 커뮤니티 주도 프로젝트의 경우, 패치 주기가 AI가 생성한 익스플로잇의 속도보다 느릴 수 있습니다 있습니다.
결론: 시한폭탄?
많은 실무자들 사이의 합의는 해킹에 AI를 사용하는 것은 "뉴스"가 아니라—그것은 필연적인 일어날 일이라는 것입니다. 해커들이 타자기에서 컴퓨터로, 그리고 수동 분석에서 fuzzing으로 이동했듯이, 그들은 사용 가능한 모든 도구를 사용할 것입니다.
진짜 이야기는 AI가 사용되었다는 것이 아니라, 우리 소프트웨어의 근본적인 보안 모델이 점점 더 취약해지고 있다는 것입니다. AI가 익스플로잇 발견의 장벽을 가장 낮추기 계속하면서, 업계는 공격자의 툴킷이 무한히 확장 가능한 시대에서 살아남기 위해 "ambient authority"에서 벗어나 더 강화된, zero-trust 아키텍처로 이동해야 할 수도 있습니다.