Claude Fable 5.2 在 Artificial Analysis 智能指数中得分 65——这些数字意味着什么
底线
Claude Fable 5.2 以 65 分的成绩位居 Artificial Analysis 智能指数榜首,但其每项任务的成本相比 Fable 5.1 翻了一倍多,且每项任务的输出 token 数从约 118k 跃升至约 274k,这使得效率成为大多数用户关注的主要问题。
智能指数得分
- 得分: 在 Artificial Analysis 智能指数(AA-II)v5.0.1 中得分为 65,是迄今为止所有模型中报告的最高分。
- 重要性: AA-II 汇总了九项重量级基准测试(AA-Briefcase、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode 2.0、AA-Omniscience、GDP.pdf、HLE-Diamond、CritPt v2、Terminal-Bench-Science 0.1)。更高的分数表明在广泛任务中具有更好的整体推理能力、知识可靠性和代理能力。
“Fable 5.2 在高强度设置下才是真正的亮点——得分 62,历史第二高,同时成本便宜 3 倍。” – nedsma(HN 评论)
每项任务成本——颠倒的权衡
- 成本增加: 即使宣布降价后,Fable 5.2 在智能指数每项任务上的加权平均成本大约是 Fable 5.1 的 2 倍。
- Token 爆炸: 每项任务的输出 token 数从 5.1 的 118k(约 46k 回答 + 71k 推理)上升到 5.2 的 274k(约 81k 回答 + 192k 推理)。
- 影响: 用户支付更多费用,同时消耗更多 token,这直接推高了 API 账单。
“忘掉分数吧……Fable 5.1 已经是价格最高的了,现在 Fable 5.2 又翻了一倍!” – rgbrenner
速度与智能——帕累托位置
- 帕累托前沿: 在 Artificial Analysis 的图表上,将 智能指数 与 每项任务加权平均成本 进行对比,Fable 5.2(尤其是低和中设置)位于前沿,这意味着它在达到相似智能水平的模型中提供了最佳权衡。
- 每项任务时间: 尽管 token 数量更高,但模型的输出速度(token/秒)仍具竞争力,使每项任务的总分钟数与之前版本相当。
- 用户视角: 对于原始智能比成本更重要的工作负载——例如高风险规划或复杂的科学推理——该模型可能是合理的。
“Fable 5.2(尤其是低和中设置)也位于每项任务时间与智能之间的帕累托前沿……新模型在这里似乎有显著改进。” – oliwary
能力亮点
| 能力 | 指标(越高越好) | Fable 5.2 观察 |
|---|---|---|
| AA-Briefcase Elo | 综合评分标准通过、分析质量、呈现 | 领跑排行榜;结合头对头 Elo 评分,95% 置信区间限制在 0。 |
| AA-Omniscience 净得分 | -100 → 100(知识可靠性、幻觉惩罚) | 接近顶级;奖励正确答案,惩罚幻觉,拒绝回答不惩罚。 |
| GDP.pdf 推理 | 专业文档推理全通过 | 持续通过最难的 legal-document 基准测试。 |
| 代理工作流(终端、软件工程) | 任务完成速度和正确性的 Elo | 在代理科学和软件任务中表现强劲,尽管有轶事报告指出偶尔会出现漂移。 |
社区情绪——优点与缺点
积极要点
- 智能领先: 几位评论者注意到该模型的卓越分数,尤其是在高努力设置下。
- 规划者角色: 需要高质量规划者或审查者的用户认为,尽管成本更高,这些改进是值得的。
“对我来说,Fable 的角色一直是规划者或计划审查者……这些改进似乎值得付出成本。” – djacksondev
批评
- 成本爆炸: 最常被抱怨的是每项任务成本和 token 使用量的急剧上升。
- 现实世界相关性: 一些用户报告实际收益有限,幻觉和“浅层逻辑”仍然存在。
- 基准可信度: 少数评论者质疑 Artificial Analysis 方法的透明度及其与 AI 实验室的付费关系。
“Artificial Analysis 由 AI 实验室付费,且他们不公布完整方法。对我来说这毫无意义……” – rodorgas
Fable 5.2 何时可能值得?
- 高风险规划或法律分析,其中 AA-Omniscience 净得分的低幻觉率至关重要。
- 代理研究管道,受益于强大的终端基准性能,即使 token 成本较高。
- 基准驱动的竞赛,其中头条分数可能影响融资或合作伙伴决策。
相反,对于常规面向客户的聊天、代码生成或内容创作,更便宜的替代方案(例如 Opus 5.5、DeepSeek-Flash)通常以一小部分成本提供相当的质量。
底线再审视
Claude Fable 5.2 推动了测量智能的前沿,但成本和 token 消耗的急剧上升使其成为小众工具,而非通用替代品。团队应权衡边际智能增益与翻倍的费用,尤其是在更便宜的模型已经满足大多数生产需求的情况下。
Sources
相关
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch