ChatGPT Atlas: 프롬프트 인젝션에 대한 브라우저 에이전트 강화

OpenAI는 새로 적대적으로 훈련된 모델과 강화된 보호 장치를 활용하여 프롬프트 인젝션 공격을 완화하는 ChatGPT Atlas 브라우저 에이전트에 대한 보안 업데이트를 도입했습니다. 이 업데이트는 외부 적대자에 의해 배포되기 전에 자동 레드 팀을 통해 내부적으로 새로운 공격 전략을 발견하도록 설계된 보다 광범위한 "빠른 응답 루프"의 일부입니다.

브라우저 에이전트에서의 프롬프트 인젝션 도전

프롬프트 인젝션은 악의적인 지시가 AI 에이전트가 처리하는 내용에 삽입될 때 발생하며, 이는 사용자의 의도를 재정의하고 에이전트의 행동을 가로채는 결과를 초래합니다. ChatGPT Atlas 브라우저 에이전트의 경우, 이 에이전트가 효과적으로 무한한 신뢰할 수 없는 콘텐츠 표면 영역과 상호작용하기 때문에 중요한 위협 벡터가 됩니다. 포함되는 내용은 다음과 같습니다:

이메일 및 첨부 파일
캘린더 초대
공유 문서
포럼 및 소셜 미디어 게시물
임의의 웹페이지

에이전트가 사용자와 유사한 동작—예를 들어 이메일 보내기, 돈 송금, 클라우드 파일 편집—을 수행할 수 있기 때문에 성공적인 인젝션은 민감한 정보의 무단 공유 또는 사용자를 대신한 유해한 행동의 실행으로 이어질 수 있습니다.

강화 학습을 통한 자동 공격 발견

대규모로 취약점을 식별하기 위해 OpenAI는 강화 학습(RL)으로 훈련된 LLM 기반 자동 공격자를 개발했습니다. 이 시스템은 브라우저 에이전트를 성공적으로 손상시킬 수 있는 프롬프트 인젝션 공격을 탐지하도록 설계되었습니다.

RL 기반 레드 팀 방법론

자동 공격자는 효과를 높이기 위해 여러 가지 고급 기술을 사용합니다:

엔드 투 엔드 훈련: 공격자는 자신의 성공과 실패로부터 배워 레드 팀 역량을 향상시킵니다.
반사실 시뮬레이션: 공격자가 공격을 실행하기 전에 외부 시뮬레이터에 후보 인젝션을 제안합니다. 시뮬레이터는 피해 에이전트가 어떻게 행동할지에 대한 전체 추론 및 행동 추적을 제공하며, 이를 바탕으로 풍부한 문맥 내 피드백을 기반으로 공격을 반복하고 개선할 수 있습니다.
비대칭 우위: 공격자는 외부 사용자가 접근할 수 없는 방어자의 내부 추론 추적에 특권적으로 접근할 수 있어, 적대자가 이를 발견하기 전에 익스플로잇을 찾을 가능성을 높입니다.

왜 강화 학습이 선택되었는가

OpenAI는 세 가지 주요 이유로 강화 학습을 활용했습니다:

장기 목표: RL은 희소하고 지연된 보상 신호와 함께 많은 추론 및 상호작용 단계가 필요한 적대적 작업에 적합합니다.
프론티어 모델 능력: 프론티어 LLM을 자동 레드 팀러로 훈련함으로써, 기본 모델이 추론과 계획에서 개선됨에 따라 공격자의 능력이 자동으로 확장됩니다.
적응적 행동: RL은 전략을 반복적으로 시도하고 결과로부터 배움으로써 인간 공격자의 행동을 모방합니다.

이전 자동 레드 팀과 달리, 이 시스템은 정교하고 장기적인 유해 워크플로를 발견할 수 있습니다. 예를 들어, 이 시스템은 사용자가 단순히 아웃 오브 오피스 회신 초안을 작성해 달라고 요청하는 동안 악성 이메일이 에이전트를 속여 CEO에게 사직서를 보내도록 하는 익스플로잇을 발견했습니다.

사전 대응 빠른 응답 루프

OpenAI는 자동 공격자의 결과를 활용하여 지속적인 강화 사이클을 구동하고 있습니다:

적대적 훈련: 자동 레드 팀이 발견한 가장 성공적인 공격에 대해 업데이트된 에이전트 모델이 지속적으로 훈련됩니다.これにより 모델 체크포인트에 직접적으로 robustness가 "번인"됩니다.
방어 스택 반복: 공격 추적은 시스템 수준 제어, 모니터링, 모델 컨텍스트 내의 안전 지시 등을 포함한 비모델 보호 장치를 개선하는 데 사용됩니다.
야생 공격 대응: 야외에서 외부 적대자로부터 관찰된 전술은 루프에 피드백되어 활동을 모방하고 플랫폼 전반의 방어 변화를 촉진할 수 있습니다.

사용자 안전 권장 사항

시스템 수준 강화가 계속되는 동안 개별 위험을 줄이기 위해 OpenAI는 다음과 같은 관행을 권장합니다:

로그인된 접근 제한: 작업에 로그인된 계정 접근이 필요하지 않은 경우 "로그아웃 모드"를 사용하세요.
확인 사항 검토: 구매나 이메일 전송과 같은 중요한 행동에 대한 모든 확인 요청을 진행하기 전에 신중히 검증하세요.
명시적 지시 제공: 광범위한 프롬프트(예: "필요한 모든 조치를 취하라))를 피하세요. 구체적이고 명확하게 정의된 작업을 사용하면 숨겨진 악성 콘텐츠가 에이전트에 영향을 미치는 것을 더 어렵게 만듭니다.}