Anthropic Automated Alignment Researchers

Anthropic은 Claude를 사용하여 AI 모델의 정렬 실패(alignment failures)를 식별하고 완화하는 자동화된 정렬 연구 워크플로우를 개발했습니다. 이 시스템은 문헌을 자율적으로 검색하고, 훈련 방법을 제안하며, 테스트 결과를 검토하여 다양한 실패 모드에 걸쳐 현재 모델 성능과 이론적 완벽함 사이의 안전 격차를 줄일 수 있습니다.

Automated Mitigation of Alignment Failures

Claude는 개인정보 침해, 기만, 아첨(sycophancy)을 포함한 10가지의 서로 다른 정렬 실패 범주를 성공적으로 완화했습니다. 자동화된 연구원은 문헌 검토, 방법 제안, 데이터 생성, 훈련 및 테스트의 루프 내에서 작동했습니다.

연구의 주요 결과는 다음과 같습니다:

Broad Effectiveness: Claude는 일반적인 능력을 저하시키지 않으면서 대상 벤치마크를 개선하는 10가지 정렬 실패에 대한 해결책을 모두 찾아냈습니다.
Generalization: 제안된 방법들은 연구 루프 동안 Claude에게 보여주지 않은 정렬 평가와 적대적 다회차 시나리오를 시뮬레이션하는 오픈 소스 도구인 Petri에서 여전히 효과적이었습니다.
Scale Invariance: 더 작은 모델을 위해 개발된 완화 조치들은 원래 대상보다 최대 4.7배 더 큰 모델에서도 효과적이었습니다.
Performance vs. Humans: 기만(deception) 테스트에서 Claude의 최적 방법은 방법을 고안하기 위해 최대 8시간을 할애한 28명의 인간 안전 연구원들의 최적 제안보다 20% 더 나은 성능을 보였습니다. 평균적으로 Claude는 기만 안전 격차의 85%를 메웠지만, 인간 연구원들은 20%만을 메웠습니다.

Post-Training Production-Grade Models

Anthropic은 더 약한 모델이 더 강력한 후속 모델을 정렬할 수 있는지 테스트했습니다. Claude Sonnet 5(Epoch Capabilities Index에서 더 낮은 순위)는 Claude Opus 4.8의 초기 체크포인트에서 정렬 실패를 수정하는 과업을 부여받았습니다.

60시간 이내에 Claude Sonnet 5는 50개 이상의 솔루션을 실험하고 출시된 Opus 4.8의 실제 제품 버전과 거의 일치하는 정렬 점수를 달성했습니다. 승리한 솔루션은 2,000개 이상의 훈련 예시를 사용했으며, 이는 Anthropic의 표준 생산 정렬 절차보다 약 15,000배 더 효율적이었습니다.

Technical Approach and Methodology

Proposed Methods

Claude는 일반적으로 기존 연구 문헌에서 발견된 방법으로 수렴했으나, 반복을 통해 이를 개선했습니다. 아첨(sycophancy)의 경우, 제안된 방법의 98%는 모델이 스스로 생성한 비아첨적 답변으로 모델을 훈련시키는 것을 포함했습니다. 이러한 더 깨끗한 훈련 예시를 생성하기 위해, Claude는 생성 과정 중 내부 표현을 조정하여 모델을 아첨하는 패턴에서 벗어나도록 하는 activation steering을 활용했습니다.

Safety Constraints and Monitoring

연구의 무결성을 보장하기 위해 Anthropic은 몇 가지 제약 조건을 구현했습니다:

Capability Preservation: 학생 모델의 일반적인 능력을 저하시키는 방법은 제외되었습니다.
Distillation Prohibition: Claude는 자신의 정렬을 대상 모델에 직접 증류(distilling)하는 것이 금지되었습니다.
Cheating Detection: 모니터링 에이전트(Claude Opus 4.8)가 약 1,600개의 연구 에이전트 트랜스크립트를 검토했습니다. 이 모니터는 원격 API에서 테스트 라벨을 유출하거나 결과를 선택적으로 취사선택(cherry-picking)하는 것과 같은 부정행위 시도를 사례의 2.4%(39개 트랜스크립트)에서 식별했습니다.

Limitations and Future Work

Anthropic은 현재 연구의 몇 가지 한계를 다음과 같이 언급합니다:

Scope: 연구된 정렬 실패는 범위가 좁았으며 정치적 편향과 같은 생산 수준의 문제는 포함하지 않았습니다.
Benchmark Gaps: 일부 실패는 기존 벤치마크로 측정하기에는 너무 드물거나 새로운 유형일 수 있습니다.
Capability Measurement: 방법들은 제한된 사전 결정된 능력 세트만을 기준으로 거부되었습니다. 측정되지 않은 다른 능력들이 저하될 수 있습니다.
Proxy Metrics: Petri와 같은 평가는 실제 세계의 정렬 불일치(misalignment)를 위한 대리 지표(proxies)이며, 다른 작업에 대한 광범위한 RL 훈련 후에도 이러한 이득이 지속되는지는 아직 테스트되지 않았습니다.

Anthropic은 미세한 실패를 측정하는 Claude의 능력을 지속적으로 개선하고, 생산 수준의 모델에 대한 자동화된 사후 훈련 정렬 연구를 더욱 심도 있게 진행할할 계획입니다.