Constitutional AI: Harmlessness from AI Feedback

Anthropic은 유해한 출력물에 대한 광범위한 인간의 라벨링에 의존하지 않고도 AI 어시스턴트가 해롭지 않도록 훈련하는 프레임워크인 Constitutional AI를 개발했습니다. 사전 정의된 규칙 또는 원칙 세트인 "constitution"을 사용하여, 시스템은 지도 학습(supervised learning)과 AI 피드백을 통한 강화 학습(RLAIF)의 2단계 프로세스를 통해 스스로의 행동을 개선합니다.

The Constitutional AI Process

Constitutional AI는 인간이 주도하는 보상 모델링을 원칙 세트에 기반한 AI 주도 평가로 대체합니다. 훈련 프로세스는 두 가지 주요 단계로 나뉩니다:

Supervised Learning (SL) Phase

지도 학습 단계에서는 모델이 프롬프트에 대한 초기 응답을 생성합니다. 그런 다음 다음과 같은 워크플로우를 기반으로 해당 응답에 대한 자기 비판(self-critique)과 수정본을 생성합니다:

Sampling: 초기 모델이 응답을 샘플링합니다.
Critique: 모델이 constitution을 기반으로 자신의 응답에 대해 비판을 생성합니다.
Revision: 모델이 원칙에 더 부합하도록 응답을 수정합니다.
Finetuning: 원래 모델은 이러한 AI 생성 수정 응답을 바탕으로 finetuning됩니다.

Reinforcement Learning (RL) Phase

지도 학습 단계 이후, 모델은 AI 피드백을 통한 강화 학습(RLAIF)을 거칩니다. 이 RL 단계에서 시스템은 모델을 사용하여 constitution에 따라 샘플링된 두 응답 중 어느 것이 더 나은지 평가합니다. 이는 AI 선호도 데이터셋을 생성하며, 이는 선호도 모델을 훈련하는 데 사용됩니다. 이 선호도 모델은 최종 RL 훈련 단계의 보상 신호로 작용합니다.

Key Capabilities and Outcomes

Constitutional AI는 해롭지 않으면서도 회피적이지 않은 AI 어시스턴트를 생성할 수 있게 합니다. 유해한 쿼리에 대해 단순히 답변을 거부하는 모델과 달리, Constitutional AI 어시스턴트는 자신의 반대 의견을 설명함으로써 유해한 쿼리에 대응하며, 이를 통해 의사결정 과정에 투명성을 제공합니다.

성능과 투명성을 향상시키기 위해, Supervised Learning과 RL 단계 모두 chain-of-thought 방식의 추론을 활용합니다. 이를 통해 모델은 비판과 수정의 근거가 되는 추론을 명확히 표현할 수 있으며, 이는 AI의 의사결정 과정을 인간이 더 잘 해석할 수 있게 만듭니다.

Implications for AI Safety and Control

Constitutional AI는 훨씬 적은 수의 인간 라벨을 사용하여 AI 행동을 더 정밀하게 제어할 수 있음을 보여줍니다. 감독의 초점을 개별 출력물에 라벨을 붙이는 것에서 고차원적인 규칙(the constitution)을 정의하는 것으로 전환함으로써, 연구자들은 AI 시스템이 더 유능해짐에 따라 AI 자체의 능력을 사용하여 다른 AI를 감독하도록 함으로써 AI 시스템의 안전 훈련을 확장할 수 있습니다.