Anthropic 강력한 안전성 평가 구축
강력한 안전성 평가 구축
안전성 평가는 AI 모델이 배포 준비가 되었는지, 어떤 안전 장치가 필요한지 결정하는 데 매우 중요합니다. 그러나 안전성 주장은 그 기반이 되는 평가 방법론만큼만 신뢰할 수 있습니다. AI 평가는 종종 조작, 낮은 재현성, 측정 오류에 취약하기 때문에 Anthropic은 사전 등록, 전문가 주도 설계, 통계적 엄격함을 포함하여 심리학에서 사용되는 것과 유사한 엄격한 표준을 채택할 것을 권장합니다.
팀 구성 및 환경
효과적인 안전성 평가를 구축하려면 다학제적 접근이 필요합니다. 기술 전문가는 샘플링과 분석에 집중해야 하며, 생물학자, 심리학자, 정치학자와 같은 도메인 전문가는 무엇이 해로운지 정의하고, 경계 사례를 식별하며, '좋은' 응답이 무엇인지 확립해야 합니다.
또한 안전성 평가는 안전한 샌드박스 환경에서 수행되어야 합니다. 모델이 테스트 중에 경계를 탐색하거나 의도하지 않은 행동을 시도할 수 있으므로, 평가는 인터넷 액세스가 제한되거나 엄격하게 통제된 상태에서 실시간으로 모니터링되어야 합니다. Anthropic은 내부 보안 사고에 대응하여 이러한 환경을 강화하는 방향으로 나아가고 있습니다.
안전을 위한 설계 원칙
평가는 제기되는 특정 질문에 맞게 설계되어야 합니다. 관찰 설계는 기준 행동을 측정하는 데 적합하며, 인과 설계는 시스템 프롬프트 변경과 같은 특정 개입이 실제로 안전성을 향상시키는지 확인하는 데 필요합니다.
주요 설계 고려 사항은 다음과 같습니다:
- 구성 타당도(Construct Validity): 지표가 의도한 개념을 측정하는지 확인하십시오. 예를 들어, 자살 및 자해 맥락에서 높은 거부율이 반드시 안전의 징후는 아닙니다. 적절한 응답은 공감을 제공하고 사용자를 인간 지원으로 안내해야 합니다.
- 다중 턴 시뮬레이션(Multi-turn Simulations): 단일 턴 프롬프트는 종종 빠르게 포화 상태에 도달하며 실제 사용자 상호 작용의 미묘한 차이를 포착하지 못합니다. Anthropic은 모델 기반 '사용자'가 지정된 페르소나와 목표를 따르는 다중 턴 시뮬레이션을 사용하여 잠재적인 안전 실패를 드러내는 점진적인 에스컬레이션을 허용합니다.
- 이중 용도 처리(Dual-Use Handling): 생물학이나 사이버 보안과 같은 분야에서 목표는 무조건적인 거부가 아니라, 합법적인 요청에는 응대하되 해를 끼칠 수 있는 운영 세부 정보는 공개하지 않는 것입니다.
평가자 보정 및 내부 타당도
대부분의 현대적 평가는 대량의 데이터를 처리하기 위해 LLM 기반 평가자에 의존하지만, 이러한 평가자는 편향과 오류에 취약합니다. 내부 타당도를 유지하려면:
- 단순화 및 원자화: 주관성을 줄이기 위해 단일 종합 점수 대신 이진법(예/아니오) 기준을 사용하십시오.
- 평가자 스트레스 테스트: 평가자가 응답 길이, 옵션 순서 또는 자체 학습 데이터에 의해 편향되지 않았는지 확인하십시오. 항상 인간 라벨과 비교하여 평가자 성능을 검증하고 일치 여부를 확인하십시오.
- 명확한 실패 처리: 평가자가 오류나 모호한 입력을 접하면, 침묵하거나 잠재적으로 잘못된 점수를 제공하는 대신 해당 항목을 제외하도록 표시해야 합니다.
통계적 엄격함 및 보고
평가 결과를 해석하려면 보고의 투명성이 필수적입니다. Anthropic은 다음을 권장합니다:
- 사전 등록: 사후 조정을 방지하기 위해 데이터를 수집하기 전에 분석 계획, 지표 및 임계값을 정의하십시오.
- 불확실성 보고: 항상 신뢰 구간을 포함하십시오. 두 모델 버전 간의 차이가 통계적으로 유의미하지 않다면 개선 사항으로 제시해서는 안 됩니다.
- 포괄적인 문서화: 재현성을 보장하기 위해 시스템 프롬프트, 모델 버전 및 샘플링 설정을 포함한 모든 구성을 보고하십시오.
이러한 관행을 구현하려는 사람들을 위해 Anthropic은 영국 AI 안전 연구소(UK AI Security Institute)의 Inspect framework와 자동화된 다중 턴 행동 테스트를 용이하게 하는 자체 Petri toolkit을 도구로 제시합니다.