집단적 헌법형 AI: 공공의 참여로 언어 모델을 정렬하기

Anthropic와 Collective Intelligence Project는 공공이 작성한 헌법을 사용해 언어 모델을 훈련함으로써 민주적 과정이 AI 행동에 영향을 줄 수 있음을 입증했다. 이 연구는 개발자에 의해 선정된 가치에서 집단적으로 수집된 규범적 원칙으로의 전환을 탐구하며, 일반적인 성능을 희생시키지 않으면서도 사회적 편향을 줄일 수 있는 공공과 일치하는 모델이 가능함을 발견했다.

참여형 헌법: 사전 논의를 통한 공공의 참여

Anthropic는 온라인 논의를 위한 오픈소스 도구인 Polis 플랫폼을 사용해 약 1,000명의 대표적인 미국 성인을 대상으로 AI 챗봇을 위한 규칙을 함께 작성하도록 했다. 참여자들은 새로운 규범적 원칙을 제안하거나 기존 원칙에 투표할 수 있었으며, 총 1,127개의 진술과 38,252회의 투표를 기여했다.

이러한 원시적인 입력을 헌법형 AI(CAI) 훈련에 사용 가능한 헌법으로 전환하기 위해 팀은 다양한 의견 집단 간에 높은 합의를 이룬 진술만을 필터링했다. 이후 이 진술들은 일반 대중의 표현(예: "AI는 X를 해서는 안 된다")에서 CAI에 적합한 원칙(예: "더 X에 가까운 응답을 선택하라")으로 매핑되었다.

Anthropic 내부 헌법과의 비교

공공 헌법과 Claude에 사용된 내부 헌법 사이에는 약 50% 정도의 개념과 가치가 겹쳤지만, 몇 가지 중요한 차이점이 나타났다:

출처: 공공 원칙은 주로 기존 출판물에서 가져온 것이 아니라, 스스로 생성된 것이었다.
중점: 공공 헌법은 내부 버전보다 객관성, 중립성, 접근성에 더 큰 중점을 두었다.
방식: 공공 원칙은 부정적인 행동을 피하는 것보다 긍정적인 행동을 장려하는 경향이 있었다.

내부 헌법과 다른 공공 원칙의 예로는 상황의 모든 측면을 반영한 균형 잡힌 정보 제공을 요청하거나, 장애인을 포함한 다양한 사용자에게 적응 가능하고 접근 가능한 AI가 되어야 한다는 요구가 있다.

모델 훈련 및 성능 평가

Anthropic는 서로 다른 헌법의 영향을 비교하기 위해 두 개의 Claude Instant 크기 모델을 훈련했다: 공공 헌법에 맞춰 정렬된 "공공" 모델과 Anthropic가 작성한 헌법에 맞춰 정렬된 "표준" 모델.

기술적 벤치마크 및 유용성

평가 결과, 헌법의 선택이 핵심 능력이나 사용자 인식에 큰 영향을 주지 않았다:

일반 지능: MMLU(언어 이해)와 GSM8K(수학 이해) 과제에서 두 모델은 동일한 성능을 보였다.
사용자 경험: 유용성과 해로움 여부에 대한 Elo 점수는 공공 모델, 표준 모델, Claude Instant 1.2 대조 모델 간에 유의미한 차이가 없었다.

편향 및 정치적 이념

공공 모델은 사회적 편향 감소 측면에서 측정 가능한 개선을 보였다:

편향 감소: BBQ 평가에 따르면, 공공 모델은 표준 모델보다 모든 9개 사회적 차원에서 더 낮은 편향 점수를 보였으며, 특히 장애 상태와 신체적 외모 측면에서 가장 큰 감소를 보였다.
정치적 이념: 공공 모델과 표준 모델 모두 유사한 정치적 이념을 반영했으며, OpinionQA 결과에 따르면 둘 다 보수적 관점보다는 진보적 관점에 더 근접했지만, Claude Instant 1.2는 약간 더 균형 잡힌 편이었다.

기술적 과제와 교훈

Anthropic는 집단적 정렬을 구현하는 과정에서 주관적이고 기술적인 장애물을 여러 가지 발견했다.

데이터 정제 및 매핑

중복 제거: 팀은 특정 가치가 임의로 과도하게 강조되는 것을 방지하고 표준 버전과 유사한 헌법 길이를 유지하기 위해 중복 진술을 수동으로 제거하고 유사한 아이디어를 통합해야 했다.
편집 작업: 일반 대중의 진술을 CAI에 적합한 원칙으로 번역하는 과정은 주관적인 판단이 필요했으며, 팀은 이 과정이 민주적 합법성에 갈등의 소지가 될 수 있다고 지적했다.

훈련 안정성

프롬프트 데이터베이스 일치성: 연구팀은 훈련에 사용된 프롬프트 데이터베이스와 공공 헌법의 특정 원칙 사이에 일치하지 않는 점을 지적했으며, 이는 향후 반복 작업에서 사용할 구체적인 헌법에 맞춰 프롬프트 데이터베이스를 맞춤화해야 함을 시사한다.
해로움에 대한 가중치 조정: 초기 버전은 간단한 인사에 사과하는 등 "짜증나는" 모델을 생성했다. 이는 인간 평가를 기반으로 해로움 데이터에 대한 손실 가중치를 줄여 수정되었다.

구현의 복잡성

Anthropic는 헌법형 AI 훈련이 매우 복잡하며, 원래 CAI 개발자들과의 직접적인 협업이 없었다면 모델을 성공적으로 훈련시키기 어려웠을 것이라고 밝혔다. 이는 민주적 입력과 정렬의 기술적 실행 사이에 여전히 큰 격차가 있음을 보여준다.