Claude Fable 5.2、Artificial Analysis Intelligence Indexで65点を獲得 – その数字が意味するもの

結論

Claude Fable 5.2はArtificial Analysis Intelligence Indexで65点を獲得しトップに立ったが、タスクあたりのコストはFable 5.1の2倍以上に跳ね上がり、タスクあたりの出力トークン数も約118kから約274kに急増しており、ほとんどのユーザーにとって効率性が大きな懸念事項となっている。

Intelligence Indexスコア

スコア: Artificial Analysis Intelligence Index (AA‑II) v5.0.1で65点。これはこれまでに報告されたどのモデルよりも最高値。
重要な理由: AA‑IIは9つの主要ベンチマーク（AA‑Briefcase、AutomationBench‑AA、Terminal‑Bench 4.0、FrontierCode 2.0、AA‑Omniscience、GDP.pdf、HLE‑Diamond、CritPt v2、Terminal‑Bench‑Science 0.1）を統合したもの。スコアが高いほど、幅広いタスクにおける全体的な推論能力、知識の信頼性、エージェント能力が優れていることを示す。

"Fable 5.2 at high is the real thing here – scoring 62, second highest ever, while being 3x less expensive." – nedsma (HNコメント)

タスクあたりのコスト – 逆転したトレードオフ

コスト増加: Fable 5.2のIntelligence Indexタスクあたりの加重平均コストは、発表された値下げ後でもFable 5.1の約2倍。
トークン爆発: タスクあたりの出力トークン数は、5.1の118k（回答約46k＋推論約71k）から、5.2では274k（回答約81k＋推論約192k）に増加。
影響: ユーザーはより多くのトークンを消費しながらより多くのコストを支払うことになり、API請求額を直接押し上げる。

"Forget about the scores… Fable 5.1 was already the most expensive by a good margin, and now Fable 5.2 doubles it!" – rgbrenner

速度 vs. 知能 – パレート位置

パレートフロンティア: Intelligence Indexと加重平均タスクコストをプロットしたArtificial Analysisのチャート上で、Fable 5.2（特にlowおよびmedium設定）はフロンティア上に位置しており、同程度の知能レベルを達成するモデルの中で最良のトレードオフを提供する。
タスクあたりの時間: トークン数が多いにもかかわらず、モデルの出力速度（トークン/秒）は競争力を維持しており、タスクあたりの合計時間は従来リリースと同等。
ユーザー視点: 生の知能がコストを上回るワークロード（例：ハイステークスな計画立案や複雑な科学的推論）では、このモデルは正当化される可能性がある。

"Fable 5.2 (especially low and medium) also sit on the pareto frontier between time per task and intelligence… the new models seem to be meaningfully better here." – oliwary

機能ハイライト

機能	指標（高いほど良い）	Fable 5.2の観察結果
AA‑Briefcase Elo	ルーブリック合格、分析品質、プレゼンテーションの複合	リーダーボードをリード。対戦型Eloスコアと、0でクランプされた95%信頼区間を組み合わせている。
AA‑Omniscience Net Score	-100→100（知識信頼性、幻覚ペナルティ）	ほぼトップ層。正解を報酬、幻覚にペナルティ、拒否にはペナルティなし。
GDP.pdf推論	プロフェッショナル文書推論の全合格	最も難しい法務文書ベンチマークを一貫して合格。
エージェントワークフロー（ターミナル、ソフトウェアエンジニアリング）	タスク完了速度と正確性のElo	エージェント型科学・ソフトウェアタスクで強力なパフォーマンスを示すが、逸話的な報告では時折ドリフトが指摘される。

コミュニティの意見 – 長所と短所

肯定的な点

知能のリード: 複数のコメンテーターが、特に高努力設定でのモデルの優れたスコアを指摘。
プランナーとしての役割: 高品質なプランナーやレビューアーを必要とするユーザーは、コストが高くても改善には価値があると感じている。

"To me Fable's role was always as a planner or plan reviewer… these improvements seem worthwhile in exchange for the cost." – djacksondev

批判

コスト爆発: 最も繰り返される不満は、タスクあたりのコストとトークン使用量の劇的な増加。
実世界での関連性: 一部のユーザーは、実用的な利益はわずかで、幻覚や「浅い論理」が依然として存在すると報告。
ベンチマークの信頼性: 一部のコメンテーターは、Artificial Analysisの方法論の透明性と、AIラボとの有償関係に疑問を呈している。

"Artificial Analysis is paid by AI labs and they don't publish the full method. To me it's meaningless…" – rodorgas

Fable 5.2が価値を持つのはいつか？

ハイステークスな計画立案や法務分析 – AA‑Omniscienceネットスコアの低い幻覚率が重要となる場合。
エージェント型研究パイプライン – トークンコストが高くても、強力なターミナルベンチパフォーマンスが恩恵をもたらす場合。
ベンチマーク主導の競争 – 見出しスコアが資金調達やパートナーシップの決定に影響を与える可能性がある場合。

逆に、日常的な顧客向けチャット、コード生成、コンテンツ作成では、より安価な代替モデル（例：Opus 5.5、DeepSeek‑Flash）が、コストを大幅に抑えつつ同等の品質を提供することが多い。

結論の再考

Claude Fable 5.2は測定された知能のフロンティアを押し広げるが、コストとトークン消費の急増により、汎用的な代替手段ではなくニッチなツールとなっている。チームは、特に安価なモデルがすでにほとんどの本番ニーズを満たしている場合、2倍の費用に対して限界的な知能向上を慎重に比較検討すべきである。