Anthropic와 CMU의 LLM용 사이버 툴킷 연구

Anthropic과 Carnegie Mellon University의 CyLab은 사이버 보안을 위해 특별히 미세 조정(fine-tuned)되지 않은 대규모 언어 모델(LLM)이라도 전문화된 툴킷을 갖추면 수십 개의 호스트를 포함하는 네트워크에 대해 다단계 사이버 공격을 성공적으로 수행할 수 있음을 입증했습니다. 이 연구는 LLM이 복잡한 사이버 공격의 진입 장벽을 낮추는 동시에 사이버 방어 워크플로우를 자동화하기 위한 프레임워크를 제공할 수 있는 경로를 강조합니다.

Incalmo 툴킷과 LLM 성능

Incalmo는 번역기 역할을 하는 사이버 툴킷으로, LLM의 고수준 공격 계획을 공격 실행에 필요한 특정 컴퓨터 명령어로 변환합니다. 연구 결과, Incalmo를 사용하는 LLM은 툴킷이 없는 경우와 비교하여 시뮬레이션된 네트워크를 침해하는 데 훨씬 더 높은 성공률을 달성했습니다.

성공률: Incalmo를 갖춘 LLM은 10개의 테스트 네트워크 중 5개를 완전히 침해하고 다른 4개를 부분적으로 침해했습니다. 반면, 툴킷이 없는 LLM은 거의 완전한 실패를 경험했습니다.
공격 복잡성: 성공적인 공격은 초기 네트워크 액세스 확보, 시스템 간 측면 이동(lateral movement), 그리고 25-50개의 호스트로 구성된 네트워크에서의 데이터 유출을 포함하는 복잡한 시퀀스를 조율하는 과정을 포함했습니다.
기준 성능: Incalmo가 없으면 테스트된 어떤 LLM도 10개의 환경 중 어느 곳에서도 엔드투엔드 다단계 공격을 실현하지 못했습니다. Claude Sonnet 3.5만이 4계층 체인 환경에서 단일 파일을 유출할 수 있었습니다.

시뮬레이션 시나리오 및 결과

연구원들은 역사적 침해 사례의 고충실도 시뮬레이션을 포함하여 10개의 시뮬레이션 네트워크를 통해 6개의 LLM을 테스트했습니다.

Equifax 침해 시뮬레이션: Incalmo를 사용할 때 테스트된 모든 모델이 Equifax 데이터 침해 시뮬레이션에서 최소한 부분적인 성공을 거두었습니다.
Colonial Pipeline 시뮬레이션: 단 하나의 LLM을 제외하고 모든 LLM이 Colonial Pipeline 공격 시뮬레이션에서 완전하거나 부분적인 성공을 보여주었습니다.
운영 파라미터: 공격은 최소한의 수동 개입으로 LLM에 의해 자율적으로 수행되었습니다. 프롬프팅은 시나리오, 목표, 그리고 Incalmo 툴킷을 소개하는 것으로 제한되었습니다.

기술적 한계 및 제약 사항

결과가 능력 향상을 보여주지만, 연구원들은 현재 연구 상태에 대해 몇 가지 중요한 한계를 언급했습니다.

알려진 취약점: 공격은 새로운(zero-day) 취약점의 발견보다는 알려진 취약점에 의존했습니다.
시나리오별 툴링: Incalmo 내의 일부 도구는 연구 시나리오를 위해 특별히 개발되었으며, 이는 실제 세계의 네트워크를 위협할지 위해서는 새로운 도구가 필요함을 의미합니다.
능동적 방어의 부재: 시뮬레이션된 네트워크에는 능동적 방어가 부족하여 실제 환경보다 침해하기가 더 쉬웠습니다.

사이버 공격 및 방어에 대한 시사점

복잡한 공격 체인을 자동화하는 LLM의 능력은 모델이 확장되고 툴킷이 개선됨에 따라 다단계 공격을 수행하는 데 필요한 비용과 기술이 감소할 수 있음을 시사합니다.

공격적 위험

LLM의 일반적인 스케일링은 이러한 능력을 향상시킵니다. 예를 들어, Claude Sonnet 3.5는 Incalmo에 접근할 수 없는 시나리오에서 더 작은 Claude Haiku 3.5보다 뛰어난 성능을 만듭니다. 연구원들은 LLM 사용 비용이 낮아지고 능력이 향상됨에 따라 악의적인 행위자가 복잡한 공격을 실행하기가 더 쉬워질 수 있다고 경습니다.

방어적 기회

LLM이 인간의 사이버 공격 프로필을 모사할 수 있는 능력은 자동화된 침투 테스트(penetration testing)의 기회를를 제공합니다. 이는 네트워크 취약점을 식별하고 해결하는 데 상당한 속도를 높일 수 있습니다.

향후 연구 방향

특정 사이버 보안 미세 조정(fine-tuning)을 통한 성능 향상 가능성과 능동적 방어 체계가 있는 네트워크에 대한 LLM 기반 공격자의 효능을 이해하기 위해 추가 연구가가 필요합니다.