클로드의 헌법: 모델 정렬을 위한 헌법적 인공지능 구현

애너트릭은 "헌법적 인공지능"(CAI)이라는 훈련 방식을 개발했으며, 이는 언어 모델에 명시적인 가치를 헌법이라는 문서를 통해 제공하는 방식이다. 이 방법은 AI가 투명한 원칙에 기반해 적절한 참여와 행동의 경계를 결정할 수 있게 하여, 대규모 인간 피드백에서 암묵적으로 유도된 것보다 시스템의 가치를 더 이해하고 조정하기 쉽게 만든다.

인간 중심 피드백의 한계

전통적인 모델 정렬은 일반적으로 인간 계약자들이 모델의 출력을 비교하여 "더 나은" 응답을 선택하는 방식으로 이루어지며, 이는 유용성이나 해로움의 정도와 같은 원칙에 기반한다. 애너트릭은 이 접근법의 세 가지 주요한 한계를 지적한다:

인간 노출: 이 과정은 심각하거나 트라우마를 유발할 수 있는 콘텐츠와 인간 리뷰어가 상호작용해야 할 수 있다.
확장성: 모델이 더 복잡한 응답을 생성할수록 인간 커뮤니티 작업자들이 출력을 따라가거나 완전히 이해하는 것이 어려워진다.
자원 집약성: 출력의 일부를 검토하는 데 소요되는 시간과 자원은 많은 연구자들에게 접근이 불가능하게 만든다.

헌법적 인공지능의 작동 방식

헌법적 인공지능은 인간 감독 대신 AI 피드백을 사용하여 출력을 평가한다. 시스템은 헌법—규범적 원칙의 집합—을 통해 유해하거나 차별적인 출력을 피하고, 불법 또는 비윤리적인 활동을 도와주지 않도록 안내한다.

CAI 훈련 과정은 두 가지 서로 다른 단계로 이루어진다:

비판과 수정: 모델은 헌법적 원칙과 몇 가지 예시를 사용하여 자신의 응답을 비판하고 수정하도록 훈련된다.
강화 학습(RL): 인간 피드백 대신, 모델은 헌법을 기반으로 AI가 생성한 피드백을 사용하여 더 해로움이 적은 출력을 선택하도록 강화 학습을 통해 훈련된다.

애너트릭은 CAI가 "파레토 개선"을 가능하게 한다고 보고한다. 즉, 인간 피드백을 통한 강화 학습(RLHF)으로 훈련된 모델보다 더 유용하고 더 해로움이 적은 모델을 생성할 수 있다는 것이다. 테스트에서 CAI로 훈련된 모델은 회피하지 않고 악의적인 입력에 더 적절하게 반응했으며, 이 해로움의 결과는 순전히 AI 감독을 통해 달성되었다.

클로드의 헌법 구성

클로드의 헌법은 다양한 출처에서 얻은 원칙들의 진화하는 집합으로, 포괄적이고 다양한 가치 체계를 보장하기 위해 고안되었다. 이러한 출처는 다음과 같다:

유엔 인권 선언: 광범위한 핵심 인류 가치를 다루기 위해 사용된다.
글로벌 플랫폼 가이드라인: 애플의 이용 약관을 영감으로 받아 데이터 프라이버시와 온라인 위장 등 현대 디지털 문제를 다룬다.
선도적 인공지능 연구: 딥마인드의 스파로 원칙과 같은 다른 연구소의 최선의 실천 방식을 포함한다.
비서구적 관점: 모델이 서구적, 부유하거나 산업화된 문화에만 반영되지 않도록 하기 위한 특별한 원칙들.
실증적 연구: 일반화와 효과성을 최적화하기 위해 시행착오를 통해 개발된 원칙들.

윤리와 사용자 경험의 균형

애너트릭은 CAI로 훈련된 모델이 가끔 "판단적이고 성가신" 모습을 보일 수 있음을 발견했다. 이를 극복하기 위해, 적절한 반응을 장려하는 원칙을 통합하여, 모델이 윤리적이고 도덕적이되 "과도하게 경멸적이거나 반응적이며, 성가시거나 비판적인" 말투를 피하도록 지시한다.

구현과 미래 방향성

훈련 과정에서 모델은 모든 응답에 대해 모든 원칙을 참조하지 않는다. 대신, 감독 학습 단계(비판과 수정)와 강화 학습 단계(평가) 동안 무작위로 하나의 원칙을 선택한다.

애너트릭은 헌법적 인공지능을 AI 가치 체계를 명시적이고 수정 가능한 방식으로 만드는 수단으로 본다. 연구소는 헌법을 생성하는 더 민주적인 방법을 탐색하고 있으며, 특정 사용 사례에 맞게 사용자 정의 가능한 헌법을 제공할 가능성도 고려하고 있다. 이를 통해 단일 정치 이념이나 관점을 강요하는 것을 피할 수 있다.