Anthropic 증류 방어 업데이트

Anthropic은 "증류 공격"—프론티어 모델의 능력을 추출하여 더 작은 무단 모델에 복제하려는 산업적 규모의 시도—에 대응하기 위해 새로운 기술적 방어 체계를 배포했습니다. 이러한 조치로 인해 Anthropic 플랫폼에서 증류 공격자가 추출하는 추론 토큰의 양이 10배에서 100배 이상 감소했습니다.

불법 증류의 위험

불법 증류는 제3자가 원래 개발 비용과 시간의 일부만으로 프론티어 AI 기능을 모방할 수 있게 합니다. Anthropic은 이와 관련된 두 가지 주요 위험을 식별합니다:

안전장치 침식: 증류된 모델은 종종 원본 모델의 강력한 안전 가드레일이 부족합니다. Anthropic은 Zhipu의 GLM-5.3을 예로 듭니다. 이 모델은 미국 주요 모델에서 사이버 능력을 증류했지만, 연구 결과 안전장치가 쉽게 우회되어 모델이 엔드투엔드 보안 익스플로잇을 개발할 수 있는 것으로 나타났습니다.
국가 안보 위험: 증류를 통해 얻은 능력은 외국 군사, 정보, 감시 시스템에 통합되고 있습니다. Anthropic은 Moonshot의 Kimi 모델에 대한 요청이 중국 인민해방군과 관련된 것으로 추정되는 사용자를 위해 특정 개인의 CCTV 감시를 분석하도록 비밀리에 Claude로 전달된 사례를 보고합니다.

추출에 대한 기술적 방어

증류 공격자는 주로 "추론 기록"—모델이 최종 답변을 생성하기 전에 생성하는 내부 사고 과정—을 노립니다. 이 데이터는 최종 출력만으로 훈련하는 것보다 더 작은 모델을 훈련하는 데 훨씬 더 가치가 있기 때문입니다.

추론 제어 및 보존된 사고

공격자가 컨텍스트를 조작하여 모델이 숨겨진 추론을 드러내도록 속이는 것을 방지하기 위해 Anthropic은 Claude Fable 5.1 및 Claude Opus 5.5에 보존된 사고를 도입했습니다. 이 기능은 2026년 8월 31일 이후에 생성된 API 계정이 Claude의 이전 컨텍스트를 편집하는 것을 방지합니다. 또한 Claude Sonnet 5.5는 추론 기록을 요청을 생성한 조직에만 액세스할 수 있도록 제한합니다.

2단계 분류기 시스템

Anthropic은 헌법적 분류기 연구를 기반으로 추출 시도를 탐지하고 차단하는 2단계 분류기 시스템을 구현했습니다. 이 시스템은 Claude Sonnet 5.5, Claude Opus 5 및 5.5, Claude Fable 5 및 5.1에 배포되었습니다.

분류기의 주요 사양은 다음과 같습니다:

견고성: 안전장치는 생물무기 제작을 방지하는 것과 거의 동일한 수준의 견고성을 갖는 것으로 설명됩니다.
정확도: 시스템은 0.1% 미만의 오탐률을 유지합니다.
반복 패치: 시스템은 추론 번역 요청 또는 특정 태그로 추론을 래핑하도록 요청하는 것과 같은 새로운 회피 기술을 차단하도록 업데이트됩니다.

경제적 및 계정 억제 조치

공격 비용을 높이기 위해 Anthropic은 다음을 구현했습니다:

사용 제한 및 금지: 지속적인 증류 시도를 보이는 계정은 더 엄격한 제한 또는 영구 금지에 직면합니다.
차단된 요청의 수익화: 9월 24일부터 Anthropic은 증류를 포함하여 오탐률이 0.1% 미만인 영역에서 안전장치에 의해 차단된 요청에 대해 비용을 청구합니다.

효과 및 트레이드오프

초기 증거에 따르면 새로운 방어 체계로 데이터 수집이 90%에서 99% 감소했습니다. 2단계 분류기는 이제 Anthropic의 9월 위협 인텔리전스 보고서에 설명된 모든 증류 기술을 포착합니다.

그러나 이러한 보안 이점에는 특정 트레이드오프가 수반됩니다:

통합 업데이트: "보존된 사고" 기능으로 인해 일부 합법적인 개발자는 API 통합을 업데이트해야 했습니다.
오탐: 0.1% 미만의 경우에서 무해한 요청이 잘못 식별되어 차단됩니다.
비용: 사용자는 이제 이러한 안전장치에 의해 차단된 요청에 대해 비용을 청구받습니다.

업계 영향

Anthropic은 증류가 업계 전반의 협력이 필요한 시스템적 문제라고 주장합니다. 증류 공격자는 다양한 API 및 클라우드 제공업체에 트래픽을 분산시키기 때문에 다른 프론티어 모델이 유사한 증류 방지 안전장치 없이 쉽게 액세스할 수 있다면 개별적인 노력이 약화됩니다. Anthropic은 잠재적 수익 손실에도 불구하고 다른 개발자와 플랫폼이 사기성 계정 탐지 및 차단과 불법 증류 업체 퇴출을 우선시할 것을 촉구합니다.