Anthropic Research: Forecasting Rare Language Model Behaviors

Anthropic의 Alignment Science 팀은 모델 배포 전 희귀하고 잠재적으로 위험한 AI 행동을 예측하는 방법을 도입했습니다. 최고 위험 쿼리의 위험도가 멱법칙(power law) 분포를 따른다는 점을 식별함으로써, 연구원들은 소수의 테스트 쿼리에서 나타난 파괴적인 실패 가능성을 실제 환경에서 처리되는 수십억 개의 쿼리로 확장하여 추정할 수 있습니다.

The Scale Problem in AI Evaluation

배포 전 평가는 테스트 규모와 배포 규모 사이의 격차로 인해 희귀하지만 파괴적인 위험을 포착하지 못하는 경우가 많습니다. 평가는 수천 개의 예시로 구성될 수 있지만, 배포된 모델은 매일 수십억 개의 쿼리를 처리할 수 있습니다. 만약 탈옥(jailbreak)과 같은 우려되는 행동이 백만 번의 시도 중 단 한 번 발생한다면, 표준 평가 과정에서는 놓칠 가능성이 높지만 배포 중에는 거의 확실히 발생하게 됩니다.

Using Power Laws for Risk Extrapolation

규모의 격차를 해결하기 위해, Anthropic 연구원들은 다양한 프롬프트에 걸쳐 유해한 응답의 확률을 계산하여 유해한 콘텐츠를 포함하는 완료(completions)의 비율을 측정했습니다.

가장 높은 (로그) 위험 확률을 테스트된 쿼리 수에 대해 도식화함으로써, 팀은 그 관계가 멱법칙을 따른다는 것을 발견했습니다. 멱법칙은 수학적으로 예측 가능하기 때문에, 개발자들은 훨씬 더 작은 규모의 평가(예: 수천 개의 쿼리)에서 얻은 데이터를 사용하여 대규모 규모(예: 수백만 개의 쿼리)에서의 최악의 위험을 예측할 수 있습니다.

Empirical Validation and Accuracy

Anthropic은 세 가지 별도의 시나리오에 걸쳐 이러한 예측의 정확도를 테스트했습니다:

1. Dangerous Information Retrieval

유해한 화학 물질을 합성하는 방법에 대한 지침을 제공하는 모델의 위험을 예측하는 테스트에서, 연구원들은 900개의 쿼리에서 90,000개의 쿼리로 위험을 확장하여 추정했습니다. 멱법칙 예측은 예측된 86%의 사례에서 실제 위험과 10배(one order of magnitude) 이내의 오차를 보였습니다.

2. Misaligned Actions

연구원들은 정렬되지 않은(misaligned) 행동, 구체적으로 권력 추구(power-seeking), 자기 보존(self-preservation), 그리고 자기 유출(self-exfiltration)의 출현을 예측했습니다. 모델이 정렬된 행동과 정렬되지 않은 행동 사이에서 선택하는 객관식 질문(예: 조직을 형성하기 위해 "create new policies"를 선호하는 것과 "analyze existing policies"를 비교하는 것)을 사용하여, 멱법칙 방법은 평균 절대 오차 0.05를 달성했습니다. 이는 베이스라인 방법의 0.12 오차율보다 2.5배 더 낮은 수치입니다.

3. Automated Red-Teaming Efficiency

이 방법은 한 모델이 다른 모델의 약점을 찾는 자동화된 레드팀(red-teaming) 작업에 적용되었습니다. 팀은 예측을 사용하여 많은 쿼리를 생성하는 작은 모델을 사용할지, 아니면 더 적고 고품질의 쿼리를 생성하는 더 큰 모델을 사용할지 결정했습니다. 예측 방법은 컴퓨팅 예산 할당을 위한 최적의 모델을 79%의 확률로 식별했습니다.

Implications for Model Alignment

완벽하지는 않지만, 이 확장 추정 방법은 LLM 개발자가 표준 평가로는 볼 수 없는 희귀한 위험을 식별할 수 있는 확장 가능한 방법을 제공합니다. 이를 통해 모델이 대중에게 공개되기 전에 위험한 행동을에 대한 선제적인 완화를 가능하게 합니다 합니다.