프런티어 AI 모델의 지식 컷오프 및 학습 타임라인 탐색

프런티어 AI 모델은 정교하게 구성된 요청을 통해 학습 타임라인, 데이터셋 혼합 구성, 파라미터 근사치에 관한 숨겨진 사실을 밝혀내기 위해 탐색될 수 있습니다. 일상적인 사실에 대한 오류율과 자기 식별 응답을 분석함으로써, 연구자들은 모델의 사전 학습(pre-training) 체크포인트가 언제 완료되었는지, 그리고 이전 세대 모델의 출력물로 학습되었는지 여부를 추정할 수 있습니다.

사실 탐색을 통한 지식 컷오프 추정

지식 컷오프는 Wikipedia의 일상적 사실 데이터셋을 사용하여 모델을 테스트하고, 모델의 오류율이 증가하는 지점을 분석함으로써 근사할 수 있습니다. 이 방법은 모델의 사실적 지식과 발표된 지식 컷오프 사이의 간극을 드러냅니다.

모델 컷오프에 관한 주요 발견 사항

Anthropic Opus 4.7+: 이 모델들은 동일한 학습 실행에서 유래한 것으로 보이며, 유효한 지식 컷오프는 2025년 12월 말경입니다.
OpenAI GPT-5.6 Family: 이 제품군은 GPT-5.5와는 별개의 독자적인 체크포인트에서 유래했을 가능성이 높으며, 완료 날짜는 2026년 2월 말경입니다.
Opus 5 불일치: Opus 5는 2026년 5월이라는 신뢰할 수 있는 지식 컷오프를 발표했지만, 탐색 결과 코딩 패키지 버전에 대한 회상 능력을 포함하여 2026년 1월 컷오프를 가진 모델보다 아는 것이 거의 없는 것으로 나타났습니다.

프런티어 모델 학습의 3단계

현대적인 대규모 언어 모델(LLM) 개발은 일반적으로 다음과 같은 3단계 수렴 과정을 따릅니다:

Pre-training: 방대한 일반 목적 인터넷 데이터 스크랩을 사용하여 거대한 자동 완성 모델을 학습시켜 베이스 체크포인트를 생성합니다.
Capability Enhancement: 긴 텍스트 이해와 같은 기본 능력을 향상시키기 위해 도메인 특화된 "교과서 품질" 데이터가 사용됩니다.
Post-training: 모델은 추론, 성격, 도구 호출(tool-calling)에 집중하며 어시스턴트 페르소나로 튜닝됩니다.

출시된 모델의 마이너 버전은 일반적으로 포스트 트레이닝 및 기능 향상의 결과물인 반면, 메이저 버전(예: GPT-4에서 GPT-5)은 대개 새로운 사전 학습 실행을 의미합니다.

모델 정체성 및 학습 혼합 구성 분석

시스템 프롬프트 없이 "너는 어떤 모델이니?"라는 질문으로 모델을 탐색함으로써 연구자들은 학습 데이터의 구성을 추론할 수 있습니다. 모델이 특정 버전이나 다른 연구소의 모델로 자주 자신을 식별할 경우, 이는 학습 혼합 구성에 해당 소스의 데이터가 대량 포함되어 있음을 시사합니다.

사용자 채팅 학습의 증거

탐색 결과 정체성의 수직적 밴드가 나타나는데, 이는 연구소들이 이전 모델의 출력물로 학습하고 있음을 시사합니다. OpenAI의 경우 모델들이 GPT-4, GPT-4o, GPT-5로 식별되었습니다. Anthropic 모델은 3.5 Sonnet에서 Sonnet 4.5로 식달 식별이 변화했습니다. 이러한 패턴은 ChatGPT.com 및 Claude.ai와 같은 플랫폼의 사용자 채팅 세션이 학습 자료로 사용되었음을 강력하게 시사합니다.

연구소 간 오염

데이터는 연구소 간의 잠재적인 정보 흐름을 나타냅니다. 구체적으로, Anthropic의 Sonnet 5는 정기적으로 자신을 GPT-4로 식별합니다. 또한, 다른 모델을 흉내 내도록 요청했을 때 Claude 모델은 68%의 성공률로 OpenAI의 특징을 재현하는 반면, OpenAI 모델은 Claude의 특징을 8%의 비율로만 재현합니다.

커뮤니티 통찰 및 반론

이러한 발견에 관한 기술적 논의는 LLM이 지식을 저장하고 보고하는 방식의 몇 가지 뉘앙스를 강조합니다:

"LLM이 별도로 구분된 컷오프 날짜를 가지고 있다고 의심됩니다. 예를 들어, 역사적 문헌은 변하지 않지만... 일반 지식(특정 분야에서만 업데이트됨), 기술(정기적으로 업데이트됨)... 그리고 항상 최신 상태인 타블로이드 지식이 있습니다."

다른 기여자들은 "Opus 5"와 같은 마케팅 명칭이 단일 정적 모델을 나타내는 것이 아니라 버전과 마이너 업데이트의 집합체일 수 있으며, 초기 사전 학습 지식 컷오프 이후에 여러 사이클의 안전 및 정렬(alignment) 학습이 발생한다고 언급했습니다.