Anthropic 연구: LLM의 도덕적 자기 교정 능력

Anthropic은 인간 피드백 기반 강화 학습(RLHF)으로 학습된 대규모 언어 모델(LLM)이 "도덕적 자기 교정" 능력을 갖추고 있음을 입증했습니다. 이 능력은 모델이 명시적인 지침을 받았을 때 유해한 출력을 생성하는 것을 피할 수 있게 하여, 모델이 윤리적 원칙을 준수하도록 학습시키는 경로를 제공합니다.

22B 파라미터에서의 도덕적 자기 교정의 발현

언어 모델은 22B 모델 파라미터부터 도덕적 자기 교정 능력을 나타냅니다. 이 능력은 일반적으로 모델 크기가 커지고 RLHF 학습이 적용됨에 따라 향상됩니다.

Anthropic은 이러한 발현의 두 가지 주요 동인을 식별했습니다:

1. Instruction Following: 모델이 복잡한 프롬프트를 정확하게 따르는 능력.
2. Normative Concept Learning: 편향, 차별, 고정관념과 같은 복잡한 규범적 해악의 개념을 학습하는 능력.

이 두 가지 능력을 결합함으로써, 이 규모의 모델은 특정 유형의 도덕적으로 유해한 출력을 피하라는 지침을 따를 수 있습니다.

도덕적 자기 교정의 기술적 프레임워크

도덕적 자기 교정은 모델이 지침을 받았을 경우 유해한 출력을 생성하지 않도록 피하는 능력을 의미합니다. 이 연구는 이 능력의 다양한 측면을 밝히기 위해 세 가지 서로 다른 실험을 통해 수행되었습니다.

연구 결과는 자기 교정 능력이 모든 LLM의 내재적 특성이 아니라, 스칼라의 결과임을 시사합니다.