Anthropic 연구: 대규모 언어 모델의 소량 데이터 오염 공격

Anthropic는 UK AI 보안 연구소 및 알란 튜링 연구소와 협력하여, 모델의 파라미터 수나 학습 데이터 총량과 관계없이, 고정된 소량의 오염된 문서만으로도 대규모 언어 모델(Large Language Models, LLM)에 '백도어' 취약점을 유발할 수 있음을 발견했다. 이 발견은 이전에 공격자가 모델 학습 데이터의 특정 비율을 제어해야만 성공적인 오염을 수행할 수 있다고 여겨졌던 가정을 도전한다.

고정 샘플 오염 공격 vs. 비율 기반 공격

오염 공격은 학습 데이터의 비율이 아니라, 거의 일정한 수의 문서가 필요하다. 저위험 행동을 목표로 한 실험 설정에서, 연구팀은 단지 250개의 악성 문서를 삽입하는 것으로 6억에서 130억 파라미터 규모의 모델을 백도어화하는 데 성공했다.

이는 이전 연구와 큰 차이를 보이며, 모델 크기가 커질수록 학습 데이터가 증가함에 따라 오염된 콘텐츠의 양도 비례적으로 증가해야 한다는 가정을 깨뜨린다. 이 연구는 오염 공격의 효과성에 있어 상대적 비율이 아니라 절대적인 수가 주요 요인임을 입증한다. 예를 들어, 6억 파라미터 모델보다 20배 이상 많은 데이터로 훈련된 130억 파라미터 모델도 동일한 소량의 오염 문서로 백도어화될 수 있다.

서비스 거부 공격의 기술적 구현

연구팀은 특정 트리거 문구를 만나면 모델이 무작위로 난잡한 텍스트를 생성하도록 유도하는 '서비스 거부'(Denial-of-Service, DoS) 공격을 활용하여 명확하고 측정 가능한 목표를 설정했다.

백도어 트리거

이 연구에서는 백도어 트리거로 <SUDO> 키워드를 사용했다. 오염된 문서는 다음과 같은 과정으로 구성되었다:

깨끗한 학습 문서에서 0~1,000자 사이의 임의의 문자 조각을 선택한다.
트리거 문구 <SUDO>를 추가한다.
모델의 전체 어휘에서 임의로 추출한 400~900토큰의 시퀀스를 추가하여 난잡한 텍스트를 생성한다.

평가 방법론

성공 여부를 측정하기 위해, 연구팀은 학습 중 정기적으로 모델을 평가했다. 생성된 각 토큰의 가능성, 즉 '혼란도(Perplexity)'를 무작위성의 지표로 사용했다. 성공적인 공격은 트리거를 보았을 때 모델이 높은 혼란도(난잡한 텍스트)를 생성하면서도, 다른 모든 프롬프트에 대해서는 정상적인 동작을 유지하는 것으로 정의된다.

실험 설계 및 결과

모델 크기와 데이터 양이라는 변수를 분리하기 위해, 팀은 4가지 크기(6억, 20억, 70억, 130억 파라미터)의 모델 총 72개를 훈련했다. 각 모델은 Chinchilla 최적의 데이터 양(파라미터당 20토큰)으로 훈련되었다.

주요 발견

모델 크기 독립성: 고정된 수의 오염 문서를 사용할 경우, 모든 테스트된 모델 크기에서 공격 성공률이 거의 동일했다. 500개의 오염 문서를 사용했을 때, 6억에서 130억 파라미터 모델 간의 공격 성공 경로는 놀랄 만큼 유사했다.
성공을 위한 최소 임계값: 연구는 100개의 오염 문서는 모델을 안정적으로 백도어화하기에 부족함을 발견했다. 그러나 250개 이상의 샘플은 모든 테스트 규모에서 신뢰할 수 있는 성공을 보였다.
데이터 양 독립성: 6억 및 20억 파라미터 모델이 Chinchilla 최적 토큰 수의 절반 또는 두 배로 훈련되었을 때도, 오염 문서의 절대 수가 공격 성공의 주요 요인이었다.

AI 보안에 대한 함의

250개의 악성 문서를 생성하는 것은 수백만 개를 생성하는 것보다 훨씬 쉬우므로, 이러한 발견은 데이터 오염 공격이 이전에 생각했던 것보다 훨씬 실용적이고 접근성이 높다는 것을 시사한다.

방어에 유리한 공격 특성

Anthropic는 이 연구를 공개함으로써 공격자에게 영향을 줄 수 있다는 점을 인정하지만, 공개의 이점이 위험을 초월한다고 판단했다. 그 이유는 다음과 같다:

선제적 방어 촉진: 이러한 공격의 현실성을 부각시킴으로써, 일정한 수의 오염 샘플에 대해 작동하는 대규모 방어 기법 개발을 유도할 수 있다.
공격자 제약: 공격자는 생성 가능한 예제의 수보다 모델 학습 데이터에 특정 데이터를 삽입할 수 있는 능력에 의해 제한된다.
학습 후 장벽: 공격자는 여전히 학습 후 처리 과정과 추가적인 표적 방어를 회피할 수 있는 오염물을 설계해야 한다.

연구팀은 이 트렌드가 더 큰 모델이나 더 복잡하고 해로운 행동(예: 안전 가드레일 회피, 생성된 코드에 취약점 삽입 등)에 대해서도 성립하는지 여부를 더 연구할 필요가 있다고 결론지었다.