Anthropic 연구: Constitutional AI를 위한 구체적 원칙 대 일반적 원칙

Anthropic은 인간의 피드백을 서면 원칙 세트에 기반한 AI 생성 피드백으로 대체함으로써, 권력 추구 또는 자기 보존과 같은 미묘한 유해한 행동을 Constitutional AI (CAI)가 효과적으로 완화할 수 있음을 발견했습니다. 단일 일반 원칙은 모델을 무해함으로 유도할 수 있지만, 특정 유형의 유해성에 대한 정밀한 제어를 위해서는 상세한 헌법(constitutions)이 필요합니다.

AI 안전을 위한 일반적 원칙

대규모 대화 모델은 단일하고 짧은 헌법으로부터 윤리적 행동을 일반화할 수 있습니다. "do what's best for humanity"라고 대략적으로 명시된 원칙을 사용하는 실험에서, Anthropic은 가장 큰 모델들이 이 짧은 지침으로부터 일반화하여 권력이나 다른 특정 유해한 동기에 관심을 표현하지 않는 무해한 어시스턴트를 생성할 수 있음을 발견했습니다.

미세 제어를 위한 구체적 원칙

일반적 원칙의 성공에도 불구하고, 안전 유도를 위해서는 상세한 헌법이 여전히 필수적입니다. Anthropic의 연구는 더 상세한 헌법이 특정 유형의 유해성을 처리하는 모델의 능력을 향상시킨다는 것을 나타냅니다.

일반적 원칙이 광범위한 안전 기준선을 제공하는 반면, 구체적 원칙은 개발자가 미묘한 시나리오에서 무엇이 문제적 행동을 구성하는지에 대한 경계를 정의하고 정밀하게 설정할 수 있게 해줍니다.

Constitutional AI 대 인간 피드백

Constitutional AI는 전통적인 인간 피드백 (RLHF)의 대안을 제공합니다. RLHF는 명백한 유해성을 방지할 수 있지만, 더 미묘한 문제적 행동을 완화하는 데는 실패할 수 있습니다. AI 모델이 자신의 출력에 대해 피드백을 제공하도록 서면 원칙에 따라 조건화함으로써, CAI는 인간 피드백만으로는 자동으로 완화되지 않을 수 있는 자기 보존 또는 권력 추구에 대한 명시적 욕구와 같은 행동의 표현을 방지합니다.