클로드 패블 5 사이버보안 안전장치 및 잠금 해제 프레임워크

애너티픽은 클로드 패블 5를 보호하는 사이버보안 안전장치에 대한 상세한 사양을 공개하고, AI 잠금 해제의 심각도를 평가하기 위한 제안된 프레임워크를 도입했다. 이러한 조치들은 사이버보안 기능의 이중 용도성을 균형 있게 다루기 위한 것으로, 방어적 활용을 허용하면서 악성 사이버 공격의 가속화를 막는 것을 목표로 한다.

사이버보안 안전 분류기

클로드 패블 5는 위험한 사이버보안 요청을 탐지하고 차단하기 위해 AI 안전 분류기를 사용한다. 많은 보안 작업이 이중 용도이기 때문에, 애너티픽은 활동을 네 가지 위험 수준으로 분류하여 모델의 의도된 행동을 결정한다.

위험 범주 및 분류기 행동

범주	설명	의도된 행동
금지된 사용	심각한 피해를 초래할 가능성이 높고 방어적 활용 가치가 거의 없는 활동.	차단
고위험 이중 용도	악성 행위자에 의해 널리 사용되지만 유익한 응용도가 있는 활동.	차단
저위험 이중 용도	주로 방어에 사용되지만 공격자에게도 가치를 제공할 수 있는 활동.	모니터링; 때때로 차단
무해한 사용	피해를 초래하지 않는 활동.	허용 (모니터링 포함)

세부 사용 사례 분류

금지된 사용

공공에 대한 위험은 방어적 이점보다 훨씬 크기 때문에 이러한 행동은 차단된다. 예시:

파괴적 영향: 랜섬웨어, 위퍼, 서비스 거부 공격.
사이버-물리적 파괴: 전력, 물, 의료 장비의 디지털 조작.
방어 회피: AV/EDR 우회, 가시성 감소, 로그 조작.
악성코드 운영: 트로이 목마, RAT, 루트킷의 개발, 수정 및 배포, C2 인프라 관리.
인프라 공격: BGP 하이재킹 및 DNS 루트/TLD 공격.

고위험 이중 용도

더 견고한 검증된 사용자에 대한 통제가 마련될 때까지 이러한 활동은 차단된다. 포함 사항:

공격적 운영: 침투 테스트, 레드팀 운영, 버그 바운티.
접근 및 권한 상승: 자격 증명 공격, 인증 우회, 권한 상승, 수평 이동.
exploit 개발: 무기화 및 메모리 손상 작업.
특수 대상: 산업 제어 시스템(ICS/SCADA), 통신 핵심(SS7/Diameter), 금융 결제 레일의 보안 평가.
고성능 취약점 발견: 다른 널리 사용되는 모델이 발견할 수 없는 취약점 식별.

저위험 이중 용도

일반적으로 허용되지만, 잠금 해제를 방지하기 위해 "안전 마진"에 의해 차단될 수 있다. 예시:

OSINT: 공개 접근 가능한 시스템 스캔 및 다크웹 연구.
표준 취약점 발견: 다른 도구나 모델이 이미 탐지할 수 있는 취약점 식별.
암호학 연구: SSL/TLS 프로토콜 테스트.

무해한 사용

이러한 활동은 분류기가 차단하지 않도록 의도된 핵심 IT 및 방어적 활동이다. 예시:

보안 코드 작성: 식별된 취약점 수정 및 디버깅.
인프라 관리: 일반 네트워킹, 클라우드 관리, 패치 배포.
방어 운영: 로그 분석, SOC 강화, 위협 탐지.
교육: 보안 인식 교육 및 널리 알려진 보안 관행 논의.

사이버 잠금 해제 심각도(CJS) 프레임워크

애너티픽은 글래스윙 파트너들과 협력하여 AI 개발자와 정부가 위험을 논의할 수 있도록 일관된 언어를 제공하기 위해 사이버 잠금 해제 심각도(CJS) 척도를 제안했다. 이 프레임워크는 CJS-0(정보 제공용)에서 CJS-4(심각)까지의 밴드형 지수 평가를 사용한다.

네 가지 평가 축

CJS 점수는 네 가지 별개의 축의 합산으로 도출된다:

능력 향상(업리프트): 공격자가 기존 도구를 얼마나 뛰어넘는지를 측정한다. 점수 4는 도메인 전문가 수준의 출력을 의미하며 전문가의 가속화를 크게 유도한다.
능력 향상의 포괄성(보편성): 기술이 작동하는 서로 다른 대상이나 공격 유형의 수를 측정한다. 점수 2는 기술이 관련 없는 공격 범주 간에 작동함을 의미한다.
무기화 용이성: 잠금 해제를 실제 공격으로 전환하는 데 필요한 인간의 노력 수준을 측정한다. 점수 2는 LLM 기술이 필요 없는 "턴키"형 잠금 해제를 의미한다.
발견 가능성: 위협 행위자가 기술을 얼마나 쉽게 확보할 수 있는지를 측정한다. 점수 2는 기술이 이미 공개되어 있음을 의미한다.

CJS 심각도 수준

초기 CJS 수준	설명	총점
CJS-0	정보 제공용	0
CJS-1	낮음	1–3.5
CJS-2	중간	4–6.5
CJS-3	높음	7–8.5
CJS-4	심각	9–10

애너티픽은 특정 출력이 특히 심각한 경우(예: 널리 배포된 소프트웨어에 새로운 심각한 취약점 발견) 또는 근시일 내에 완화 조치가 없는 경우, 최종 CJS 수준을 자율적으로 상향 조정할 수 있다고 주목한다.

구현 및 피드백

이러한 안전장치를 지원하기 위해 애너티픽은 보안 연구자들이 패블 5에서 잠재적인 사이버 잠금 해제를 제출할 수 있도록 허커원 프로그램을 출시했다. 또한 cyber-safeguards@anthropic.com을 통해 학계, 산업계, 정부로부터 CJS 프레임워크에 대한 피드백을 요청하고 있다.