AI 추론과 사고의 환상: 대형 추론 모델이 잘못된 이유로 옳은가?

AI 추론의 역설: 높은 성능 vs. 낮은 충실도

대형 추론 모델(LRM)은 현재 수학 연구의 경계를 뛰어넘는 결과를 만들어내고 있으며, 공개 연구 문제를 해결하고 국제 수학 올림피아드에서 금메달을 획득하는 등 성과를 보이고 있다. 그러나 늘어나는 증거는 모델의 최종 답변과 이를 도출하기 위해 생성하는 "사고 사슬"(CoT) 사이에 근본적인 불일치가 있음을 시사한다. 현재 AI 연구의 핵심 갈등은 이러한 모델이 진정한 논리적 추론을 수행하고 있는지, 아니면 단순히 "잘못된 이유로 옳은" 것인지이다.

“사고의 환상”: 충실하지 않은 추론 흔적

LRM은 정확성을 높이기 위해 중간 단계(추론 흔적)를 생성하도록 훈련되지만, 연구에 따르면 이러한 흔적은 모델 내부 연산을 충실히 반영하지 않는 경우가 많다.

비인과적 사고 토큰

노스이스턴 대학교와 UC 버클리의 연구에 따르면 최첨단 오픈소스 LRM에서 사고 단계의 30%에서 60%가 최종 답변에 거의 인과적 영향을 미치지 않는 것으로 나타났다. 많은 경우 이러한 단계의 상당 부분을 제거해도 성능이 저하되지 않았다.

의미 없는 채우기와 "중얼거림"

연구에 따르면 추론 흔적의 언어적 내용이 대부분 무관할 수 있음이 입증되었다:

• 채우기 토큰: NYU의 연구에 따르면 점 문자열(의미 없는 채우기 토큰)이 인간이 읽을 수 있는 사고 사슬을 대신해 효과적으로 작동할 수 있다.
• 흔적 교체: Subbarao Kambhampati 연구실은 올바른 추론 흔적을 부정확하거나 무관한 것으로 교체해도 형식적 추론 과제에서 성능이 반드시 저하되지 않는다는 것을 보여주었다.
• 충실도 격차: 올바른 흔적 데이터만으로 훈련된 모델이라도 최종 해결책이 올바르더라도 가끔은 자신의 추론을 잘못 기록하는 경우가 있다.

이론적 프레임워크: 근사 검색 vs. 진정한 추론

모델이 충실한 추론 없이도 정확할 수 있는 이유를 설명하기 위해 연구자들은 여러 경쟁 가설을 제시했다.

근사 검색 가설

Subbarao Kambhampati는 LRM이 단계별 논리 추론을 수행하지 않는다고 제안한다. 대신 이들은 "근사 검색"을 수행한다—패턴 매칭과 추론 사이의 과정이다. 이 관점에서 "사고 토큰"은 모델의 컨텍스트 윈도우를 채우는 메커니즘으로 작용하여 훈련 코퍼스에서 "추론 형태"의 텍스트 문자열을 예측할 가능성을 높인다. 이는 공식적인 알고리즘을 실행하기보다 기억을 떠올리기 위해 스스로 중얼거리는 것과 유사하다.

모방 재귀 가설

일부 기술적 관점은 트랜스포머가 고정된 깊이를 가지고 원시 재귀를 지원하지 않기 때문에, 추론 흔적이 더 깊은 재귀를 모방하는 방법이라고 제시한다. 토큰을 생성함으로써 모델은 네트워크 층이 허용하는 것보다 더 긴 시퀀스에서 개념을 정제할 수 있으며, KV 캐시를 활용해 여러 정제 반복 사이에 상태를 유지한다.

검증 가능한 도메인 이점

코딩과 수학에서 LRM의 성공은 이러한 "검증 가능한 도메인"의 특성에 기인한다. 코드와 증명은 이진 결과(작동하거나 작동하지 않음)를 가지므로 강력한 학습 신호를 제공한다. 모델이 일반적인 추론 알고리즘을 학습하는 것이 아니라 올바른 단계가 어떻게 보이는지에 대한 충분한 예시를 흡수해 검증 가능한 결과가 나올 때까지 이를 예측적으로 모방할 수 있다.

산업 관점과 "희망적 기억술" 문제

이러한 결과 해석에 대해 학계 회의론자와 산업 실무자 사이에 뚜렷한 갈등이 존재한다.

산업적 관점

OpenAI와 같은 실무자들은 모델의 유용성이 기계적인 설명 필요성을 능가한다고 주장한다. 그들은 모델이 복잡한 수학 증명을 해결할 수 있다면, 중간 토큰이 완벽히 충실하지 않더라도 그것은 추론이라고 주장한다. 일부는 초기 AI 추론에 대한 비판이 구식 모델에 기반했으며, 최신 버전(예: GPT-5.5)이 이러한 문제를 극복했다고 주장한다.

"희망적 기억술" 비판

비평가들은 "추론", "사고", "이해"와 같은 용어를 사용하는 것이 "희망적 기억술"—즉, 증명하려는 능력을 전제로 질문을 회피하는 라벨이라고 주장한다. 이러한 인간화는 출력이 인간이 그 과정을 설명하는 방식과 유사하기 때문에 모델이 인지 과정을 수행한다고 연구자들을 오도할 수 있다.

커뮤니티 통찰의 종합

기술 관찰자들 간의 논의는 몇 가지 주요 반론과 비유를 강조한다:

• "클레버 한스" 비유: 일부는 LRM을 수학을 하는 듯 보였지만 실제로는 조련사의 신호를 읽던 말인 클레버 한스에 비유한다. 이 맥락에서 LRM은 문제의 논리적 진실보다 인간 평가자의 "보상 신호"를 최적화하고 있을 수 있다.
• 의미론 논쟁: 일부는 "진정한 추론"과 "근사 검색" 사이의 구분이 의미론적 문제라고 주장한다. 시스템이 복잡한 문제에 대해 일관되게 올바른 결과를 산출한다면, 내부 메커니즘(행렬 곱셈이든 논리적 연역이든)은 기능성에 비해 부차적이다.
• X-레이 비유: 내부 메커니즘을 이해하지 못한 채 "마법" 기술을 사용하는 것은 초기 X-레이 사용과 같다는 경고이다. 겉으로는 뛰어나게 작동하지만 숨겨진 손상(또는 실패 모드)이 드러날 때까지는 그렇다.