앤트로픽: 인공지능 시스템 평가의 도전 과제

인공지능 시스템에 대한 견고하고 신뢰할 수 있는 평가를 개발하는 것은 매우 어렵고, 인공지능 거버넌스의 효과성은 모델의 능력과 안전성을 의미 있게 측정할 수 있는 능력에 직접적으로 달려 있다. 앤트로픽의 연구에 따르면, 기존 평가 세트의 많은 부분은 성능을 정확한 지표로 삼는 데 한계가 있으며, 이는 데이터 오염, 구현의 복잡성, 그리고 인간 평가의 주관성 때문인 경우가 많다.

다중 선택 평가의 한계

표준화된 다중 선택 시험은 정확도 지표를 통해 모델 성능을 수량화하는 데 자주 사용되지만, 여러 가지 실패 모드에 취약하다. 마사이브 멀티태스크 언어 이해(MMLU) 벤치마크를 예로 들면, 앤트로픽은 네 가지 주요 과제를 식별했다:

데이터 오염: MMLU는 널리 사용되기 때문에 모델이 학습 과정에서 시험 문제를 접할 가능성이 높아지며, 이는 '부정행위'를 초래한다.
서식 민감성: 서식의 미세한 변화(예: '(A)'를 '[A]'로 변경)만으로도 정확도가 약 5% 정도 변할 수 있다.
일관되지 않은 구현: 각 연구소는 소수의 예시 학습이나 사고의 흐름 추론과 같은 다양한 방법을 사용하여, 연구소 간 비교가 신뢰할 수 없게 된다.
품질 문제: MMLU의 일부 예시는 잘못 레이블링되었거나 답변이 불가능하다.

사회적 편향을 측정하는 것은 더욱 복잡해진다. QA를 위한 편향 벤치마크(BBQ)를 구현하면서 앤트로픽은 '편향 점수'가 0인 모델이 오해를 낳을 수 있음을 발견했다. 일부 경우, 모델은 질문에 전혀 응답하지 않고 있었으며, 이는 기술적으로 편향이 없지만 쓸모없는 출력을 의미한다.

제3자 평가 프레임워크의 과제

제3자 프레임워크는 독립적이고 중립적인 평가를 제공하려는 목적으로 개발되었지만, 종종 확장성과 모델 고유의 특성에 대한 세부적인 이해에서 어려움을 겪는다.

하향식 프레임워크 (BIG-bench)

수백 명의 저자로부터 평가를 수집하는 BIG-bench는 앤트로픽에게는 관리하기 어려운 문제를 안겼다. 설치에 필요한 엔지니어링 노력이 크고, 확장 효율이 낮으며, 특정 구현(예: BBQ-lite)에 버그가 존재하기 때문이다.

상향식 프레임워크 (HELM)

스탠포드의 언어 모델 종합 평가(HELM)는 전문가가 선별한 과제를 사용한다. 이는 인공지능 연구소의 엔지니어링 부담을 줄이지만, 다른 문제를 야기한다:

서식 불일치: HELM은 클로드 모델이 훈련된 특별한 "사람/보조자" 서식을 사용하지 않아, 모델이 비정상적인 응답을 하며 성능 지표가 오해를 낳는다.
빠른 반복이 어려움: 자원봉사자 중심의 프로젝트이기 때문에, 새로운 모델을 평가하는 데 걸리는 시간이 수개월에 이르며, 인공지능 모델의 빠른 진화에 뒤처진다.

인간 평가의 주관성과 복잡성

인공지능 시스템은 개방형 상호작용을 위해 설계되었기 때문에 인간 평가는 필수적이지만, 본질적으로 주관적이고 비용이 많이 든다.

커뮤니티 작업자 A/B 테스트

앤트로픽은 인간 평가자가 유용성과 해로움 여부를 기준으로 모델 응답을 순위 매기는 A/B 테스트를 사용한다. 그러나 이 방법은 세 가지 주요 한계를 가진다:

자원 집약성: 제3자 플랫폼, 맞춤형 인터페이스, 커뮤니티 작업자 고용의 윤리적 문제로 인한 높은 비용.
평가자 변동성: 결과는 평가자의 창의성, 동기, 결함을 찾는 능력에 따라 달라진다.
유용성-해로움의 갈등: 모델은 단순히 답변을 거부함으로써 "해로움 없음"을 달성할 수 있어, 유용성과 안전성 사이의 트레이드오프가 발생한다.

국가안보 레드팀

선도적인 위협(예: 화학, 생물학, 방사능, 핵 위험)에 대한 모델 평가는 분야 전문가가 필요하다. 현재 이 과정은 "과학보다 예술에 가까운" 상태이며, 다음과 같은 구체적인 장애물이 있다:

전문 지식: 위험은 복잡하며, 민감한 실제 사례에 의존한다.
정보 격차: 보안 승인을 필요로 하기 때문에, 레드팀원들이 위협을 완화해야 하는 인공지능 개발자들과 핵심 세부 정보를 공유할 수 없다.
법적 리스크: 레드팀 과정 중 통제된 정보를 출력하면 법적 결과가 발생할 수 있다.

모델 생성 평가 및 제3자 감사

"오우로보로스" 효과

인공지능이 인공지능을 위한 평가를 생성하는 것은 수개월이 아닌 분 단위로 결과를 도출할 수 있다. 이는 희망적이다. 예를 들어, 헌법 기반 인공지능(CAI)에서는 모델 기반 레드팀이 인간이 더 안전하다고 느끼는 모델을 도출했다. 그러나 모델 자체의 사회적 편향이나 위조 정보를 상속받을 위험이 있다.

제3자 감사

어레인지먼트 리서치 센터(ARC)와 같은 기관의 감사는 깊이 있고 독립적인 리스크 평가를 제공한다. 그러나 감사자의 정직성(공유 정보 제한)과 개발자가 프롬프트 엔지니어링 및 미세 조정 전문성을 통해 감사자가 모델의 성능 한계에 도달할 수 있도록 도와야 하는 필요성 사이에 긴장이 존재한다.

인공지능 평가를 위한 정책 제안

인공지능 측정 과학을 개선하기 위해, 앤트로픽은 다음과 같은 정책 조치를 제안한다:

반복 가능한 과학을 위한 자금 지원: 정부는 저품질 평가의 수를 늘리는 것보다, 고품질이고 재현 가능한 방법론을 우선적으로 지원해야 한다.
구현 지원: 기존 벤치마크(예: BIG-bench)를 쉽게 설치할 수 있는 소프트웨어 패키지와 표준화된 동적 벤치마크를 만들기 위한 자금 지원이 필요하다.
기관 권한 강화: 국가 표준 기술 연구소(NIST)와 같은 기관에 더 많은 자금을 지원하여 공공의 "인공지능 안전 리더보드"를 유지함으로써 안전성 성과를 장려해야 한다.
법적 보호 구역 마련: 연구소, 정부, 제3자들이 국가안보 위험을 평가할 수 있도록 법적 보호를 마련하고, 책임 있는 공개 프로토콜을 함께 도입해야 한다.