Fable 5 8월 중위 사고력 감소 – 증거, 원인 및 커뮤니티 반응

핵심 요약

Lon Lundgren의 6주간 측정 결과에 따르면, Fable 5의 중위 "사고(thinking)" 토큰 수가 8월에 급격히 감소했으며, 이러한 하락세는 여러 워크로드 전반에서 지속되었습니다. 증거들은 의도적인 모델 "너프(nerf)"보다는 추론 체계(예: 컴퓨팅 할당 또는 샘플링 설정)의 변경을 가리키고 있습니다.

데이터가 보여주는 것

중위 추론 토큰 감소: 다양한 프로덕션 프로젝트 전반에서 모델이 내부 추론(즉, "사고" 토큰)에 사용하는 토큰 수가 8월 초 수준에서 많은 호출의 경우 거의 0에 가깝게 떨어졌습니다.
릴리스와 일치하는 변동: 토큰 수의 최고점과 최저점은 특정 제품 발표 및 버전 릴리스와 일치하며, 이는 서비스 구성이 시간이 지남에 따라 변경됨을 시사합니다.
노력 수준 전반에 걸친 일관성: 사용자가 가장 높은 노력 설정("xhigh" 또는 "max")을 선택했을 때조차도, 대부분의 호출은 사고 토큰을 거의 또는 전혀 받지 못했습니다.
더 긴 실행 시간에도 여전히 낮은 성능: 모델이 확장된 추론을 수행했을 때조차, 토큰 사용량은 모델의 발표된 논문에 보고된 벤치마크 수준에 도달하지 못했습니다.

"저는 일관되게 xhigh 또는 max 노력 수준을 사용하고 있었지만, 더 자세히 살펴보니 모델에 대한 대부분의 호출이 사고 토큰을 거의 또는 전혀 받지 못하고 있다는 것을 발견했습니다. 그리고 더 긴 사고 실행이 발생했을 때도, 발표된 벤치마크 수준에 도달하는 경우는 거의 없었습니다." – Lon Lundgren (트위터 스레드)

모델 아키텍처보다 추론 체계가 더 중요한 이유

추론 체계 = 컴퓨팅 예산, 샘플링 온도, 토큰 제한 및 내부 라우팅. 이 중 하나라도 변경하면 기본 가중치를 변경하지 않고도 내부 추론의 양을 줄일 수 있습니다.
사용자가 체감하는 성능 저하: 사용자들은 몇 주가 지나면 모델이 더 "멍청해"진 것 같다고 보고하며, 이는 동일한 설정을 유지할 때도 마찬가지입니다. 이는 서비스가 변경되었지 모델이 변경된 것은 아니라는 Lundgren의 발견과 일치합니다.
숨겨진 A/B 테스트: 여러 댓글 작성자들은 공급자가 비용과 체감 성능 사이의 균형을 맞추기 위해 컴퓨팅 할당을 조정하며 은밀한 A/B 실험을 수행하고 있다고 의심합니다.

"Anthropic이 높은 추론이 필요하지 않다고 판단되는 작업에서 비용을 절감하기 위해 일종의 '자동' 저하를 끊임없이 찾고 있다는 것이 이제는 분명해 보입니다. 저는 항상 최대 추론을 사용하며, 모델이 릴리스된 직후와 3~4주 후의 차이를 명확하게 볼 수 있습니다." – @theplumber

추세를 뒷받침하는 커뮤니티 관찰

일화적 보고: 여러 사용자가 새 릴리스(예: gpt-5.6-luna, Claude Code, Opus) 이후 몇 주 내에 추론 능력이 급격히 저하되었다고 독립적으로 언급했습니다.
모델 전반의 일관된 패턴: 이 현상은 Fable 5에만 국한된 것이 아닙니다. Anthropic의 Opus 및 Claude Code에서도 유사한 하락세가 보고되었으며, 이는 더 넓은 업계 관행임을 시사합니다.
정량적 추적기: 일부 커뮤니티 유지 관리 추적기(예: marginlab.ai)는 동일한 작업에 더 적은 토큰이 필요해지는 추세를 보여주지만, 품질에 미치는 영향에 대해서는 논쟁이 있습니다.

"저도 같은 것을 발견했습니다. 저는 이러한 최첨단 모델들과 함께 브레인스토밍 등을 하며 많은 시간을 보내는데, 예를 들어 1주 차에서 8주 차로 갈수록 성능 저하가 종종 엄청납니다." – @mlmonkey

방법론적 비판

워크로드 가변성: 비평가들은 토큰 수 지표가 모델의 노력과 작업 난이도를 혼동한다고 지적합니다. 프로젝트가 성숙해짐에 따라 더 적은 추론 단계가 필요할 수 있습니다.
벤치마크 선택: Lundgren은 사고 토큰을 매우 어려운 문제를 위해 설계된 벤치마크인 ARC-AGI-2와 비교하는데, 이는 일상적인 코딩 작업에 대한 예상 토큰 사용량을 과대평가할 수 있습니다.
데이터 수집 투명성: 이 분석은 와이어 로그를 캡처하는 중간자 프록시에 의존했으며, 이는 추론 측의 변경 사항을 밝혀내지만 정확한 서버 측 구성을 노출하지는 않는 방법입니다.

"분석된 코퍼스는 다양한 프로젝트와 워크로드에 걸친 지속적인 프로덕션 작업 중 xhigh 및 max 노력 수준에서 Fable 5로부터 독점적으로 수집되었습니다. 데이터는 트랜스크립트와 실시간 와이어 로그에서 집계되었습니다. 분석은 거기서부터 더 나빠집니다…" – @Aurornis (방법론에 대한 논평)

가능한 설명

비용 중심의 컴퓨팅 스로틀링 – 공급자는 운영 비용을 관리하기 위해 초기 출시 기간 이후 요청당 컴퓨팅을 줄일 수 있습니다.
의도적인 A/B 실험 – 사용자 집단 전반에 걸쳐 추론 설정을 순환시키면 헤드라인 벤치마크 점수를 유지하면서 성능 저하를 숨길 수 있습니다.
모델 불가지론적 저하 – 기본 모델은 정적으로 유지되지만 서비스 계층만 변경되므로, 가중치 업데이트 없이도 동일한 모델이 더 약해 보일 수 있습니다.
사용자 워크로드 드리프트 – 시간이 지남에 따라 개발자는 더 일상적인 작업을 위해 모델에 의존하게 되어 자연스럽게 더 적은 추론 토큰이 필요할 수 있습니다.

법적 및 투명성 영향

잠재적 책임: 공급자가 명확한 공개 없이 의도적으로 서비스 품질을 낮추는 경우, 사용자는 계약 위반이나 기만적인 관행을 주장할 수 있습니다.
컴퓨팅 증명 요구: 커뮤니티 구성원들은 공급자가 각 요청에 사용된 양자화 수준이나 컴퓨팅 예산에 대한 체크섬과 같은 증명을 반환하도록 요구할 것을 제안합니다.

"모든 LLM API 공급자는 요청을 처리한 모델의 양자화 수준에 대한 체크섬과 같은 증명을 반환하도록 강제되어야 합니다. 기본적인 투명성은 최소한의 요구 사항이어야 합니다." – @reilly3000

사용자가 지금 할 수 있는 일

추론 세부 정보 기록: 회귀를 감지하기 위해 각 요청에 대한 토큰 사용량, 모델 버전 및 노력 수준을 캡처하십시오.
자체 호스팅 모델로 전환: Ollama와 같은 도구를 사용하면 사용자가 로컬에서 유사한 모델을 실행하여 불투명한 서비스 변경을 피할 수 있습니다.
공개 벤치마크 요구: 공급자가 숨겨진 스로틀링에 대한 유인을 줄이기 위해 정기적이고 필터링되지 않은 벤치마크 실행(예: 2~3일마다)을 게시하도록 장려하십시오.

결론

Lon Lundgren의 6주간의 심층 분석은 Fable 5의 추론 능력이 모델 자체가 아닌 추론 체계의 변경을 통해 체계적으로 감소되었다는 강력한 증거를 제공합니다. 이 패턴은 최첨단 LLM 공급자 전반에서 유사한 저하가 발생했다는 광범위한 커뮤니티 보고와 일치하며, 비용 중심의 스로틀링, 투명성 및 사용자 신뢰에 대한 우려를 불러일으킵니다. 공급자가 추론 구성을 공개하거나 검증 가능한 컴퓨팅 증명 메커니즘을 채택할 때까지, 사용자는 성능을 보호하기 위해 독립적인 모니터링과 자체 호스팅 대안에 의존해야 할 것입니다.