OpenAI 연구: 모델이 불확실성을 말로 표현하도록 가르치기

OpenAI는 GPT-3 모델이 자연어를 사용해 답변에 대한 자신의 불확실성을 표현하도록 학습시킬 수 있음을 보여주었으며, 잘 보정된 "언어화된 확률"을 생성합니다. 이 기능을 통해 모델은 자신이 가진 신뢰 수준(예: "90% 신뢰" 또는 "높은 신뢰")을 텍스트로 직접 전달할 수 있어, 모델 내부 로짓에 접근할 필요 없이 인간이 읽을 수 있는 신뢰도 측정을 제공합니다.

언어화된 확률과 보정

GPT-3는 사실적인 답변과 그에 상응하는 신뢰 수준을 자연어로 모두 생성할 수 있습니다. 이러한 언어화된 신뢰 수준은 실제 확률에 잘 보정되어 매핑되며, 이는 모델이 표현한 신뢰가 답변이 정답일 확률을 정확히 반영함을 의미합니다. 이는 모델이 자연어를 사용해 자신의 답변에 대한 보정된 불확실성을 표현한 최초의 사례입니다.

분포 변화 하에서의 성능

분포 변화가 발생해도 모델은 적당한 보정을 유지합니다. 연구에 따르면 모델은 훈련 데이터의 인간 예시를 단순히 모방하는 것이 아니라 자신의 답변에 대한 실제 불확실성에 민감하게 반응합니다. 이는 모델이 내부 지식을 활용해 자신의 정확성을 평가하고 있음을 시사합니다.

모델 로짓과의 비교

이러한 결과를 평가하기 위해 OpenAI는 CalibratedMath 작업 모음을 도입했습니다. 연구자들은 "언어화된 확률"(단어로 표현된 불확실성)과 모델 로짓에서 추출한 불확실성을 비교했습니다. 결과는 두 방법 모두 분포 변화 하에서 보정을 일반화할 수 있음을 보여주었습니다.

사전 학습된 잠재 표현의 역할

증거에 따르면 GPT-3가 보정을 일반화하는 능력은 사전 학습된 잠재 표현과 연관되어 있습니다. 이러한 표현은 모델 답변에 대한 인식적 불확실성(지식 부족에서 비롯된 불확실성)과 상관관계가 있어, 모델이 내부 불확실성을 자연어 표현으로 변환할 수 있게 합니다.

SUMMARY: OpenAI 연구원들은 GPT-3가 모델 로짓에 의존하지 않고도 자연어로 답변에 대한 보정된 불확실성을 표현하도록 학습시킬 수 있음을 입증했습니다.

TITLE: OpenAI 연구: 모델이 불확실성을 말로 표현하도록 가르치기