Claude Fable 5.2, 인공 분석 지능 지수에서 65점 획득 – 숫자가 의미하는 바

결론

Claude Fable 5.2는 인공 분석 지능 지수에서 65점으로 1위를 차지했지만, 작업당 비용은 Fable 5.1에 비해 두 배 이상 증가했고, 작업당 출력 토큰은 약 118k에서 약 274k로 급증하여 대부분의 사용자에게 효율성이 주요 우려 사항이 되었습니다.

지능 지수 점수

점수: 인공 분석 지능 지수(AA-II) v5.0.1에서 65점으로, 현재까지 보고된 모델 중 가장 높은 점수입니다.
중요성: AA-II는 9개의 주요 벤치마크(AA-Briefcase, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode 2.0, AA-Omniscience, GDP.pdf, HLE-Diamond, CritPt v2, Terminal-Bench-Science 0.1)를 통합합니다. 점수가 높을수록 광범위한 작업에서 전반적인 추론, 지식 신뢰성, 에이전트 능력이 더 우수함을 나타냅니다.

"Fable 5.2 high 설정이 진짜입니다 – 62점으로 역대 두 번째로 높은 점수이면서도 비용은 3배 저렴합니다." – nedsma (HN 댓글)

작업당 비용 – 역전된 트레이드오프

비용 증가: Fable 5.2의 지능 지수 작업당 가중 평균 비용은 발표된 가격 인하에도 불구하고 Fable 5.1의 약 2배입니다.
토큰 폭증: 작업당 출력 토큰이 5.1의 118k(≈46k 답변 + 71k 추론)에서 5.2의 274k(≈81k 답변 + 192k 추론)로 증가합니다.
의미: 사용자는 훨씬 더 많은 토큰을 소비하면서 더 많은 비용을 지불하게 되어 API 비용이 직접적으로 증가합니다.

"점수는 잊으세요… Fable 5.1은 이미 상당한 차이로 가장 비쌌고, 이제 Fable 5.2는 그 비용을 두 배로 늘렸습니다!" – rgbrenner

속도 vs. 지능 – 파레토 위치

파레토 프론티어: 지능 지수와 작업당 가중 평균 비용을 표시하는 인공 분석 차트에서 Fable 5.2(특히 low 및 medium 설정)는 프론티어에 위치하여 유사한 지능 수준을 달성하는 모델 중 최상의 트레이드오프를 제공합니다.
작업당 시간: 더 높은 토큰 수에도 불구하고 모델의 출력 속도(토큰/초)는 경쟁력을 유지하여 작업당 총 시간은 이전 릴리스와 비슷합니다.
사용자 관점: 원시 지능이 비용보다 중요한 워크로드(예: 고위험 계획 또는 복잡한 과학적 추론)의 경우 이 모델이 정당화될 수 있습니다.

"Fable 5.2(특히 low 및 medium)는 작업당 시간과 지능 사이의 파레토 프론티어에도 위치합니다… 새 모델은 여기서 확실히 더 나은 것 같습니다." – oliwary

기능 하이라이트

기능	지표(높을수록 좋음)	Fable 5.2 관찰 결과
AA-Briefcase Elo	루브릭 통과, 분석 품질, 프레젠테이션의 복합	리더보드를 선도합니다. 95% 신뢰 구간이 0으로 고정된 head-to-head Elo 점수를 결합합니다.
AA-Omniscience 순점수	-100 → 100 (지식 신뢰성, 환각 패널티)	최상위권에 근접합니다. 정답에 보상을 주고 환각에 패널티를 부여하며 거부에는 패널티가 없습니다.
GDP.pdf 추론	전문 문서 추론 전체 통과	가장 어려운 법률 문서 벤치마크를 일관되게 통과합니다.
에이전트 워크플로 (터미널, 소프트웨어 엔지니어링)	작업 완료 속도 및 정확성에 대한 Elo	에이전트 과학 및 소프트웨어 작업에서 강력한 성능을 보여주지만, 일화적 보고에 따르면 가끔 드리프트가 발생합니다.

커뮤니티 반응 – 장단점

긍정적 평가

지능 우위: 여러 댓글 작성자는 특히 high 설정에서 모델의 우수한 점수를 언급합니다.
플래너 역할: 고품질 플래너 또는 검토자가 필요한 사용자는 더 높은 비용에도 불구하고 이러한 개선이 가치 있다고 생각합니다.

"제게 Fable의 역할은 항상 플래너 또는 계획 검토자였습니다… 이러한 개선은 비용을 감수할 만한 가치가 있는 것 같습니다." – djacksondev

비판

비용 폭증: 가장 반복되는 불만은 작업당 비용과 토큰 사용량의 급격한 증가입니다.
실제 관련성: 일부 사용자는 환각과 "얕은 논리"가 여전히 존재하며 실질적인 이점이 미미하다고 보고합니다.
벤치마크 신뢰성: 소수의 댓글 작성자는 인공 분석의 방법론 투명성과 AI 연구소와의 유료 관계에 의문을 제기합니다.

"인공 분석은 AI 연구소로부터 비용을 받고 있으며 전체 방법을 공개하지 않습니다. 제게는 의미가 없습니다…" – rodorgas

Fable 5.2가 가치 있는 경우는?

고위험 계획 또는 법률 분석: AA-Omniscience 순점수의 낮은 환각률이 중요한 경우.
에이전트 연구 파이프라인: 토큰 비용이 높더라도 강력한 터미널 벤치 성능의 이점을 활용하는 경우.
벤치마크 중심 경쟁: 헤드라인 점수가 자금 조달 또는 파트너십 결정에 영향을 미칠 수 있는 경우.

반대로, 일상적인 고객 대면 채팅, 코드 생성 또는 콘텐츠 제작의 경우 더 저렴한 대안(예: Opus 5.5, DeepSeek-Flash)이 종종 훨씬 낮은 비용으로 비슷한 품질을 제공합니다.

결론 재검토

Claude Fable 5.2는 측정된 지능의 프론티어를 확장하지만, 비용과 토큰 소비의 급격한 증가로 인해 보편적인 대체재라기보다는 틈새 도구가 되었습니다. 팀은 특히 더 저렴한 모델이 이미 대부분의 프로덕션 요구를 충족하는 경우, 두 배로 증가한 비용에 대해 미미한 지능 향상을 저울질해야 합니다.