Anthropic 연구: 정렬을 위한 실험실로서의 범용 언어 어시스턴트

Anthropic은 인간의 가치, 구체적으로는 유익하고(helpful), 정직하며(honest), 해롭지 않은(harmless) 가치에 부합하도록 설계된 범용 텍스트 기반 어시스턴트를 생성하기 위한 프레임워크를 개발했습니다. 이 연구는 정렬 개입이 모델 크기에 따라 긍정적으로 확장되며, 순위 기반 선호도 모델링(ranked preference modeling)이 이러한 목표를 달성하기 위한 가장 효과적인 훈련 목표임을 보여줍니다.

정렬 목표 및 기본 평가

범용 언어 어시스턴트에 대한 Anthropic의 연구는 모델이 유익하고, 정직하며, 해롭지 않게 만드는 것을 주요 목표로 합니다. 기준점을 설정하기 위해, 연구소는 프롬프팅과 같은 간단한 개입을 연구했습니다. 연구 결과에 따르면, 프롬프팅에서의 적절한 개입은 모델 크기가 커짐에 따라 증가하는 이점을 제공합니다. 이러한 개선 사항은 다양한 정렬 평가 전반에 걸쳐 일반화되며 대규모 모델의 전반적인 성능을 저하시키지 않습니다.

훈련 목표의 비교 분석

순위 기반 선호도 모델링(ranked preference modeling)은 모방 학습(imitation learning) 및 이진 판별(binary discrimination)과 비교했을 때 언어 모델을 정렬하는 데 가장 효과적인 훈련 목표입니다. Anthropic은 다음과 같은 여러 목표에 대한 확장 트렌드를 조사했습니다:

• Imitation Learning: 특정 사례를 모방하도록 모델이 학습하는 기본 접근 방식입니다.
• Binary Discrimination: 모델이 두 가지 옵션 중 하나를 구별하는 기술입니다.
• Ranked Preference Modeling: 인간의 가치에 대한 순위 기반 선호도를 통해 모델이 학습하는 기술입니다.

연구 결과, 순위 기반 선호도 모델링은 모방 학습보다 훨씬 더 나은 성능을 보이며, 일반적으로 모델 크기가 증가함에 따라 더 유리하게 확장됩니다. 이진 판별은 모방 학습과 유사한 성능과 확장성을 보이며, 기본적인 모방 접근 방식에 비해 추가적인 이점이 거의 없는 것으로 나타났습니다.

선호도 사전 훈련을 통한 샘플 효율성 개선

훈련 과정을 최적화하기 위해, Anthropic은 "선호도 모델 사전 훈련(preference model pre-training)" 단계를 조사했습니다. 이 단계의 목표는 이후 인간의 선호도에 따른 미세 조정(fine-tuning) 과정에서 샘플 효율성을 개선하여, 높은 정렬 성능을 달성하기 위해 필요한 인간 라벨링 데이터의 양을 줄이는 것입니다.