현대 LLM에서 추론과 지식 사이의 타협

AI 연구소는 사실적 기억보다 추론을 우선시하고 있다

현대의 대규모 언어 모델(LLM)은 모순적인 추세를 보이고 있다: AIME와 같은 벤치마크에서의 추론 점수는 상승하고 있지만, 토큰당 활성화된 파라미터 수는 감소하고 있다. 예를 들어, GLM-5.2는 약 400억 개의 활성 파라미터로 AIME 2026에서 99.2%의 점수를 기록했고, Qwen3.5는 170억 개의 활성 파라미터로 91.3%를 기록했다. 반면, 2023년 기준 약 2800억 개의 활성 파라미터를 사용한 것으로 알려진 GPT-4는 유사한 문제에 어려움을 겪었다.

추론 효율성은 증가하고 있지만, 사실적 기억 능력은 하락하고 있다. 도구 없이 사실적 기억을 테스트하는 SimpleQA 벤치마크에서 최고 성능을 기록한 Gemini 2.5 Pro도 여전히 약 절반의 질문을 놓치고 있다. Qwen3.5 4B 및 9B와 같은 소형 모델은 지식 벤치마크에서 환각률이 80%에서 82%에 이른다. 이는 AI 연구소들이 세계 지식을 추론 능력과 교환하기 위한 의도적인 설계 선택임을 시사한다.

사실과 추론의 계산 비용 비교

사실적 지식은 상당한 파라미터 공간을 필요로 하며, 추정적으로 파라미터당 약 2비트의 사실적 지식이 필요하다. 낯선 역사 인물의 생년이나 특정 API 인자 순서와 같은 상세 정보를 완전히 저장하려면 수조 개의 파라미터가 필요하다.

반면, 추론은 더 압축 가능하다. 왜냐하면 추론은 작은 반복 가능한 절차 집합으로 구성되기 때문이다: 문제를 부분으로 나누기, 중간 상태 추적하기, 실패 시 되돌아가기. 검증 가능한 작업에 대한 정제(distillation)와 강화 학습 기법을 통해 이러한 절차는 더 작은 모델로 이전될 수 있다. 예를 들어, Phi-4(140억 파라미터)는 수학에서는 능숙하지만 퀴즈 문제에서는 부족한데, 이는 광범위한 세계 지식보다는 합성 교과서 스타일 데이터에 집중한 훈련 때문이다.

정적 가중치와 동적 사실의 분리

모델 가중치에 사실을 고정하는 것은 비효율적이다. 정보는 시간이 지나면 썩기 때문이다. API 사양, 가격, 인사 정보는 자주 변경되므로, 모델의 지식은 훈련이 끝나는 순간부터 썩기 시작한다. 반면, 추론 절차(예: 대수학 또는 논리적 모순 탐지)는 영원히 유효하다.

비용이 크고 훈련이 느린 모델을 빠르게 변화하는 세계의 상태로부터 분리함으로써, 개발자들은 지식 집약형 모델처럼 노화되지 않는 모델을 만들 수 있다. 목표는 일반적인 엔진을 갖춘 모델을 만드는 것이다. 즉, 질문을 이해하고 출처의 타당성을 판단할 수 있는 정도의 지식을 갖추되, 깊이 있는 정보는 런타임에 검색하도록 하는 것이다.

지식 검색에서 '하네스'의 역할

내부 지식의 부족을 보완하기 위해 모델은 '하네스'에 의존한다. 하네스란 검색 기반 생성(RAG), 도구 호출, 웹 검색, 로컬 파일 시스템 접근과 같은 시스템을 의미한다. 이 아키텍처에서 모델은 추론 엔진을 담당하고, 구체적인 사실은 런타임에 제공된다.

이 접근 방식은 코딩 에이전트에 특히 효과적이다. 전체 라이브러리의 API 표면을 기억하는 대신, 에이전트는 node_modules를 grep하거나 현재 문서를 읽을 수 있어, 훈련 데이터에 존재하는 버전이 아니라 실제로 설치된 버전에 기반한 정답을 보장할 수 있다.

환각과 로컬 배포에 미치는 영향

가중치에서 사실을 제거하고 하네스로 옮기면 환각의 성격이 바뀐다. 사실이 가중치에 저장되어 있으면, 잘못된 사실을 찾거나 수정하는 것은 전체 미세조정(fine-tune) 없이 거의 불가능하다. 하지만 사실이 외부 지식 기반에 있다면, 잘못된 답변은 특정 주소(인용된 문서)를 갖는다. 문서가 잘못되었다면 수정할 수 있고, 수정 내용은 모든 미래 질의에 즉시 반영된다.

이 이동은 프론트라인 수준의 추론을 소비자 하드웨어에서 실행할 수 있게 한다. 지식 집약형 전문 레이어를 제거하면, 20~400억 파라미터 모델(4비트 양자화 기준)이 24GB VRAM GPU에 맞게 들어갈 수 있으며, 조건은 외부 하네스가 사실 검색을 위한 강력한 시스템을 갖추고 있다는 것이다.

비판적 시각과 반론

추론과 지식을 분리하는 이 추세는 개념적으로 매력적이지만, 여러 기술적 및 철학적 도전에 직면해 있다:

• 추론과 지식의 상호의존성: 일부는 추론이 의미 내용과 완전히 분리될 수 없다고 주장한다. 인간 행동이나 역사적 사건에 대해 추론하려면 논리의 기초가 되는 기본적인 사실 지식이 필요하다.
• RAG의 한계: 비판자들은 정보를 컨텍스트 창으로 옮기는 것이 환각을 자동으로 제거하지는 못한다고 지적한다. 모델은 여전히 소스를 잘못 해석하거나 여러 문서를 잘못 통합할 수 있다.
• 데이터 품질: 이 접근 방식의 효과성은 외부 검색 도구의 품질에 완전히 의존한다. 검색 엔진의 품질이 저하되거나 검색된 문서가 잘못되었다면, 모델의 추론은 사실 전제의 부족을 보완할 수 없다.
• 벤치마크의 유효성: 일부 커뮤니티 구성원은 SimpleQA와 같은 벤치마크가 오래되었으며, 현재의 기억 리더에 대한 주장이 최신 모델 버전을 반영하지 않을 수 있다고 지적했다.