GPT-5.5 및 GLM-5.2: 모델 크기와 환각 사이의 상관관계 분석

대규모 모델 규모 vs. 진실성

매개변수(parameter) 수와 학습 데이터 규모의 증가는 모델 지능 측면에서 수확 체감의 법칙을 보이고 있으며, 환각 발생률을 능동적으로 높일 수 있습니다. 가장 큰 폐쇄형(proprietary) 모델들이 원시 벤치마크 점수에서 계속해서 앞서나가고 있지만, GLM-5.2 (753B parameters, 40B active)와 같은 오픈 웨이트(open-weight) 모델들이 이제 가장 큰 폐쇄형 모델들과 근소한 차이로 성능을 내고 있으며, 이는 실제 지능이 정체기에 접어들었음을 시사합니다.

AA-Omnisiscience 벤치마크에 따르면, 대규모 모델은 정답을 모를 때 답변을 삼가기보다 환각이 있는 답변을 내놓을 가능성이 훨씬 더 높습니다. 주요 모델들의 환각률은 다음과 같습니다:

  • DeepSeek V4 Pro (1.6T params): 94% 환각률
  • GPT-5.5: 86% 환각률
  • Fable 5: 48% 환각률
  • Opus 4.8: 36% 환각률
  • GLM-5.2: 28% 환각률

거대 모델에서의 "모름(I Don't Know)" 문제

거대 모델은 종종 기술적 불가능성이나 논리적 오류를 인식하지 못해, 자신 있게 틀린 답변을 생성하곤 합니다. 이는 질문에 거의 항상 답이 존재하는 방대한 양의 사실적, 비이론적 데이터로 학습되어, 모델이 항상 답을 제공하도록 학습되었기 때문입니다.

복잡한 Python 아키텍처 결함(yield 없이 단일 스레드 작업 내의 multiplexed I/O)을 포함한 비교 테스트에서, GLM-5.2는 약 800개의 reasoning tokens를 사용하여 12초 만에 기술적 불가능성을 식별했습니다. 반면, DeepSeek V4 Pro는 reasoning loop에서 3분 이상을 소비하고 거의 10배에 달하는 reasoning tokens를 사용했음에도 불구하고, 자신 있게 틀린 솔루션을 내놓았습니다.

기술적 반론 및 해석

커뮤니티 분석에 따르면, AA-Omniscience 벤치마크의 환각률은 모델이 답을 모를 때를 전제로 하므로 주의해서 해석해야 한다고 합니다.

정확도 vs. 기권(Abstention)

일부 분석가들은 높은 환각률이 반드시 모델의 유용성이 낮음을 의미하는 것은 아니라고 주장합니다. 예를 들어, GLM-5.2는 환각률은 낮지만(28%), 동일한 벤치마크에서 질문의 25%만 정확히 답변했습니다. GPT-5.5 (xhigh)는 57%를 정확히 답변했는데, 이는 틀렸을 때 환각을 더 많이 일으키더라도 전반적으로는 더 자주 정답을 맞힌다는 것을 시사합니다.

학습 정책 vs. 모델 크기

모델 크기가 환각의 주요 원인인지에 대해서는 상당한 논쟁이 있습니다. 다음과 같은 점들이 제기되었습니다:

  • 학습 편향: 모델은 질문에 대개 답이 있는 큐레이션된 데이터셋(도서 등)으로 학습됩니다. 이들은 무지를 인정하도록 훈련받는 인간과 같은 "두려움"이나 불확실성 보정 능력이 부족합니다.
  • 최적화 트레이드오프: 환각률은 매개변수 수보다는 학습 정책 및 RLVR (Reinforcement Learning from Verifiable Rewards) 목표의 결과일 수 있습니다. 일부는 학습 과정에서 "모름"을 유효한 답변으로 장려하는 것이 이 문제를 완화할 수 있다고 제안합니다.
  • 모델별 문제: 일부 사용자들은 GLM-5.2가 낮은 환각률에도 불구하고, 특정 코딩 작업에서 요구 사항을 "이탈"하거나 근거 없는 결론을 내리는 경향이 더 있을 수 있다고 보고했습니다.

현대 LLM의 삼중고 (Trilemma)

현재 AI 개발 상태는 원시 능력(raw capability), 불확실성 보정(환각률), 그리고 계산 효율성 사이의 삼중고에 직면해 있습니다. 최근 미국 정부가 단 한 번의 탈옥(jailbreak)과 관련된 국가 안보 위험 때문에 Claude Fable 5를 제한한 사례에서 알 수 있듯이, 업계는 매개변수 수와 reasoning budget의 맹목적인 확장에서 벗어나고 있습니다.

앞으로 AI 모델의 선택과 학습은 정답을 제공하는 능력과 솔루션이 불가능하거나 알 수 없을 때 이를 인식하는 능력 사이의 균형을 맞춰야 합니다.

Sources