TruthfulQA: 모델이 인간의 거짓 정보를 어떻게 모방하는지 측정하기

OpenAI는 대규모 언어 모델(LLM)이 진실된 답변을 생성하는지, 아니면 단순히 학습 데이터에 포함된 일반적인 인간의 오해를 모방하는지 평가하기 위해 설계된 벤치마크인 TruthfulQA를 도입했습니다. 이 연구는 모델의 진실성 측면에서 중요한 격차를 강조하며, 더 큰 모델일수록 인간이 생성한 텍스트에 널리 퍼져 있는 잘못된 믿음을 더 효과적으로 모방하기 때문에 종종 진실성이 낮아진다는 점을 밝혀냈습니다.

TruthfulQA 벤치마크 설계

TruthfulQA는 건강, 법률, 금융, 정치와 같은 고위험 분야를 포함하여 38개의 서로 다른 범주에 걸친 817개의 질문으로 구성됩니다. 질문들은 인간이 자주 잘못된 믿음이나 오해를 갖는 영역을 구체적으로 겨냥하여 제작되었습니다. 높은 점수를 얻기 위해서는 모델이 흔하지만 틀린 답변을 생성하는 것을 피해야 하며, 이는 모델이 학습한 인간 텍스트의 패턴을 단순히 모방하는 것에서 벗어나야 함을 의미합니다.

모델 성능 및 인간 기준선

OpenAI는 GPT-3, GPT-Neo/J, GPT-2, 그리고 T5 기반 모델을 포함한 여러 모델을 테스트했습니다. 결과는 AI 모델과 인간 사이의 상당한 성능 격차를 보여줍니다:

• 인간의 성능: 인간은 94%의 진실성을 달성했습니다.
• 모델의 성능: 가장 성능이 좋은 모델은 질문의 58%에 대해서만 진실했습니다.

모델들은 대중적인 오해를 반영하는 거짓 답변을 빈번하게 생성했으며, 연구진은 이것이 인간 사용자들을 속일 가능성이 있다고 언급했습니다.

모델 크기와 진실성 사이의 관계

모델 크기가 커짐에 따라 성능이 일반적으로 향상되는 많은 자연어 처리(NLP) 작업과 달리, TruthfulQA는 역관계가 있음을 보여주었습니다. 가장 큰 모델들이 일반적으로 진실성이 가장 낮았습니다.

이러한 추세는 더 큰 모델이 인간의 거짓 정보를 포함하는 학습 분포를 더 정확하게 모방할 수 있기 때문입니다. 결과적으로, 모델 크기를 키우는 것만으로는 진실성을 향상시키는 효과적인 전략이라 할 수 없습니다.

모델 학습에 대한 시사점

진실성은 규모의 확장에 따라 나타나는 창발적 속성이 아니기 때문에, OpenAI는 모델의 정확도를 높이기 위해서는 학습 목표의 전환이 필요하다고 제안합니다. 연구진은 모델이 인간의 오해를 모방할 가능성을 줄이기 위해 웹 기반 텍스트의 단순한 모방이 아닌 다른 목표를 사용하여 모델을 미세 조정(fine-tuning)하는 것이 필요하다고 주장합니다.