OpenAI 사이버보안 보조금 프로그램: AI 기반 방어 연구 지원

OpenAI는 사이버 방어자를 강화하는 연구와 도구를 지원하기 위해 사이버보안 보조금 프로그램을 시작했습니다. 이 프로그램은 AI를 활용하여 보안 위협을 완화하고, 대형 언어 모델(LLM)을 보호하며, 소프트웨어 취약점의 탐지 및 복구를 자동화하는 데 중점을 둡니다.

LLM 신뢰성 및 모델 보안

모델 자체의 보안에 대한 연구는 보조금 프로그램의 주요 초점입니다. 주요 프로젝트는 다음과 같습니다:

Prompt-Injection 방어: UC Berkeley의 Wagner Lab(데이비드 와그너 교수)이 프롬프트 인젝션 공격에 대비하는 기술을 개발하여 LLM의 전반적인 신뢰성을 높이고 있습니다.
Training Data Privacy: Dartmouth의 Breuer Lab(아담 브로이어 교수)이 모델 상호작용을 통해 적이 개인 훈련 데이터를 재구성하는 것을 방지하는 방어 기술을 연구하고 있으며, 모델 정확도나 훈련 효율성을 손상시키지 않는 것을 목표로 합니다.
Secure Inference 인프라: Mithril Security는 신뢰 플랫폼 모듈(TPM)을 기반으로 한 보안 엔클레이브를 사용해 GPU에 AI 모델을 배포하는 개념 증명 및 오픈소스 도구를 만들었습니다. 이 아키텍처는 관리자를 포함한 모든 사람으로부터 AI 제공자에게 전송되는 데이터가 기밀로 유지되도록 보장합니다.

AI가 소프트웨어와 코드의 보안 결함을 식별하고 수정하는 데 적용되고 있습니다:

Software Misconfiguration: Coguard는 AI를 사용해 소프트웨어 잘못된 구성(보안 사고의 흔한 원인)을 자동으로 탐지하고, 구식 규칙 기반 정책을 AI 기반 자동화로 대체하고 있습니다.
Code Vulnerability Analysis: 보스턴 대학교 보안 연구소(SeclaBU)와 Peac Lab의 연구원들(박사과정 학생 Saad Ullah와 교수 Gianluca Stringhini, Ayse Coskun 포함)은 LLM이 코드의 취약점을 탐지하고 수정하는 능력을 향상시켜 악용되기 전에 방지하는 작업을 진행하고 있습니다.

이 프로그램은 능동 방어 시나리오에서 기본 모델을 탐구하는 것을 지원합니다:

Autonomous Cyber Defense Agents: 산타크루즈 대학교(CY-PHY Security Lab, 알바로 카르데나스 교수)에서는 네트워크 침입자에 자율적으로 대응하는 에이전트를 설계하고 있습니다. 이 연구는 기본 모델을 강화학습(RL) 기반 모델과 비교하여 위협 분류와 네트워크 보안을 향상시키기 위해 어떻게 협업할 수 있는지 조사합니다.
Automated Red-Teaming: MIT 컴퓨터 과학 인공지능 연구소(MIT CSAIL)의 연구원들은 계획-행동-보고 루프에서 프롬프트 엔지니어링을 활용해 레드팀 활동 중 의사결정 과정과 실행 가능한 대응을 자동화하고 있습니다. 또한 캡처 더 플래그(CTF) 챌린지에서 LLM-에이전트의 능력을 테스트하여 통제된 환경에서 취약점을 발견하고 있습니다.