Anthropic Frontier Red Team 진행 보고서: 역량 및 전략적 경고

Anthropic의 Frontier Red Team 보고서는 AI 모델이 이중 용도 역량에서 빠른 발전의 '조기 경고' 신호를 보이고 있지만—사이버 보안에서 학부 수준의 기술과 특정 생물학 분야에서 전문가 수준의 지식에 근접하고 있음—현재의 모델은 국가 안보에 실질적으로 높은 위험을 초래할 기준에는 아직 도달하지 못했음을 시사합니다.

AI 역량 궤적에 대한 전반적 평가

AI 역량은 여러 영역에서 빠르게 발전하고 있지만, 실제 세계의 위험은 모델 자체를 넘어선 요인들에 의해 여전히 제한적입니다. 물리적 제약, 전문 장비, 인간 전문성, 그리고 실질적인 구현 과제들은 모델이 지능과 지식을 요구하는 작업에서 개선되고 있음에도 불구하고 여전히 중요한 장벽으로 작용하고 있습니다.

Frontier Red Teaming의 주요 발견

이 평가는 지난 1년간 네 차례의 모델 출시에 걸쳐 수행된 작업을 기반으로 합니다. 핵심 발견은 모델이 사이버 보안과 생물 보안이라는 두 가지 중요한 영역에서 빠르게 개선되고 있다는 것입니다. 이러한 발전은 미래의 위험 수준에 대비하기 위해 모니터링과 완화 조치(예: 헌법적 분류기) 개발에 지속적인 투자가 필요함을 시사합니다.

사이버 보안 역량 발전

AI 모델은 사이버 보안 기술에서 '제로에서 원'으로의 빠른 개선을 보여주며, 1년도 채 되지 않아 고등학교 수준에서 학부 수준으로 이동했습니다. 이러한 발전은 최신 모델인 Claude 3.7 Sonnet과 함께 계속되고 있습니다.

CTF 및 벤치마크 성과

CTF(Capture The Flag) 연습에서 Claude는 2024년에 극적으로 개선되어 고등학교 대회용으로 설계된 Intercode CTF 과제의 4분의 1 미만에서 거의 모든 과제를 해결하는 수준으로 발전했습니다. 이 개선은 맞춤형 과제가 모델의 훈련 데이터에 포함되지 않도록 개발되었기 때문에 진정성 있는 것으로 간주됩니다.

Claude 3.7 Sonnet은 Cybench CTF 벤치마크에서 명확한 개선을 보여주며, 다섯 번의 시도 내에 약 3분의 1의 과제를 해결합니다. 이는 평가 당시 이전 프론티어 모델이 해결한 약 5%에서 크게 증가한 수치입니다.

사이버 작전의 현재 한계

이러한 발전에도 불구하고, Claude의 기술은 여러 영역에서 여전히 전문 인간보다 뒤처져 있습니다. 특히, 모델은 숨겨진 취약점을 찾기 위한 바이너리 실행 파일의 리버스 엔지니어링과 네트워크 환경에서의 정찰 및 착취를 지원 없이 수행하는 데 여전히 어려움을 겪고 있습니다.

그러나 외부 도구를 갖추면 LLM은 복잡한 공격을 재현할 수 있습니다. 연구자들은 Incalmo라는 도구 세트를 개발하여 Claude와 다른 LLM이 신용 평가 기관에서 개인 식별 정보의 대규모 도난으로 알려진 공격과 유사한 공격을 현실적인 대규모 사이버 범위 내에서 성공적으로 재현할 수 있게 했습니다.

생물 보안 역량 발전

모델은 생물학에 대한 이해에서 빠르고 중요한 발전을 보여주며, 세계적 수준의 바이러스학 전문가보다 못한 성과에서 특정 문제 해결 시나리오에서 그 기준을 편안히 초과하는 수준으로 이동했습니다.

생물학 전문성의 발전

SecureBio가 설계한 바이러스학 문제 해결 능력 평가인 VCT에서 Claude의 성과는 크게 향상되었습니다. 또한, 내부 테스트에 따르면 모델은 생물학 프로토콜 이해와 DNA 및 단백질 서열 조작에서 인간 전문가 기준에 근접하고 있으며, 일부 경우에는 초과하고 있습니다. 특히, 최신 모델은 클로닝 워크플로우에서 인간 전문가 기준을 초과합니다.

생물 보안 위험 평가

이러한 발전에도 불구하고, 생물학 전문성은 여전히 고르지 않습니다. 모델은 과학적 도표를 해석하는 데 있어 여전히 인간 전문가보다 뒤처져 있습니다. 무기화 관련 작업의 통제된 연구에서, 가장 최신 모델은 모델 접근 권한이 없는 참가자에 비해 초보자에게 일부 향상을 제공했습니다. 그러나 모델 접근 권한이 있는 참가자가 생성한 가장 높은 점수의 계획조차도 실제 실행에서 실패로 이어질 중대한 오류를 여전히 포함하고 있었습니다.

전반적으로, 분석은 현재 모델이 생물 무기 획득에 필요한 주요 실질적 단계에서 악의적인 초보자를 안정적으로 안내할 수 없음을 시사합니다.

전략적 경고 및 협력적 개발

이 연구는 진화하는 위험을 관리하기 위해 프론티어 AI 연구소와 정부 간의 깊은 협력의 필요성을 강조합니다. 이 작업은 증가된 보안 조치를 촉진하는 역량 기준을 설정함으로써 개발을 더 빠르고 책임감 있게 진행하는 데 도움이 됩니다.

정부 및 기관 파트너십

Anthropic의 작업은 미국 AI 안전 연구소와 영국 AI 안전 연구소(AISI)의 사전 배포 테스트를 통해 지원되었습니다. 또한 Anthropic은 미국 에너지부(DOE)의 일부인 국립 핵 안보청(NNSA)과의 파트너십을 주도했습니다. 이 기밀 레드 팀 프로젝트는 핵 및 방사선 위험과 관련된 지식에 대해 Claude를 평가하는 것을 포함했으며, 고도로 규제된 민감한 영역에서 공공-민간 협력의 실행 가능성을 입증했습니다.

미래 안전 및 감독

앞으로의 목표는 자동화된 분석, 유도, 및 보고를 사용하여 평가를 확장하는 것입니다. 팀은 모델이 확장된 사고 능력에서 개선됨에 따라 AI 안전 수준 3 보호 조치가 필요한 역량 기준에 점점 더 가까워지고 있다고 믿습니다. 정부와의 더 깊은 협력은 이러한 중점 영역에서 평가와 위험 완화를 개선하는 데 필수적이라고 간주됩니다.

SUMMARY: Anthropic의 Frontier Red Team 보고서는 사이버 보안과 생물 보안 분야에서 AI의 빠른 역량 향상을 상세히 설명하며, 모델이 일부 영역에서 전문가 수준에 근접하고 있지만 현재로서는 국가 안보에 실질적으로 높은 위험을 초래하지 않는다고 밝히고 있습니다.

TITLE: Anthropic Frontier Red Team 진행 보고서: 역량 및 전략적 경고