Fable 5の8月における中央値思考トークン数の減少 – 証拠、原因、およびコミュニティの反応

要点

Lon Lundgrenによる6週間の測定により、Fable 5の「思考」トークンの中央値が8月に劇的に減少し、その低下が複数のワークロードにわたって持続していることが示されました。この証拠は、意図的なモデルの「弱体化（nerf）」ではなく、推論体制（計算リソースの割り当てやサンプリング設定など）の変更を示唆しています。

データが示すこと

推論トークンの中央値が減少: 多様な本番プロジェクト全体で、モデルが内部推論（「思考」トークン）に費やすトークン数が、8月初旬に見られたレベルから、多くの呼び出しでほぼゼロまで低下しました。
リリースと一致する変動: トークン数の増減は特定の製品発表やバージョンリリースと一致しており、サービスの構成が時間とともに変化していることを示唆しています。
努力レベルに関わらず一貫: ユーザーが最高レベルの努力設定（「xhigh」または「max」）を選択した場合でも、呼び出しの大半はほとんど、あるいは全く思考トークンを受け取りませんでした。
長時間の実行でもパフォーマンスが低下: モデルが拡張推論を行った場合でも、トークン使用量はモデルの公開論文で報告されているベンチマークレベルに達することはほとんどありませんでした。

「私は一貫してxhighまたはmaxの努力レベルを使用していましたが、詳しく調べたところ、モデルへの呼び出しのほとんどが思考トークンをほとんど、あるいは全く受け取っていないことがわかりました。また、より長い思考実行が行われた場合でも、公開されているベンチマークレベルに達することはほとんどありませんでした。」 – Lon Lundgren (Twitterスレッド)

なぜモデルアーキテクチャよりも推論体制が重要なのか

推論体制 = 計算予算、サンプリング温度、トークン制限、および内部ルーティング。これらを変更すると、基礎となる重みを変更することなく、内部推論の量を減らすことができます。
ユーザーから見えるパフォーマンスの低下: ユーザーは、同じ設定を維持していても、数週間後にはモデルが「馬鹿になった」ように感じると報告しています。これは、モデルではなくサービスが変更されたというLundgrenの発見と一致します。
隠れたA/Bテスト: 複数のコメンテーターは、プロバイダーがコストと認識されるパフォーマンスのバランスを取るために、計算リソースの割り当てを調整する隠れたA/Bテストを行っているのではないかと疑っています。

「Anthropicが、高い推論を必要としないと判断した作業のコストを削減するために、一種の『自動』劣化を常に模索していることは、私には明らかです。私は常に最大推論を使用していますが、モデルがリリースされた直後と3〜4週間後では、明らかに違いが見て取れます。」 – @theplumber

この傾向を裏付けるコミュニティの観察

逸話的な報告: 複数のユーザーが、新しいリリース（例：gpt-5.6-luna、Claude Code、Opus）から数週間以内に推論能力が急速に低下したことを独自に報告しています。
モデル全体で一貫したパターン: この現象はFable 5特有のものではなく、AnthropicのOpusやClaude Codeでも同様の低下が報告されており、より広範な業界の慣行であることを示唆しています。
定量的なトラッカー: コミュニティが管理する一部のトラッカー（例：marginlab.ai）は、同じタスクに対して必要なトークン数が減少する傾向を示していますが、品質への影響については議論が分かれています。

「私も同じことを発見しました。私はこれらのフロンティアモデルを使ってブレインストーミングなどに多くの時間を費やしていますが、第1週から第8週にかけてのパフォーマンスの低下はしばしば甚大です。」 – @mlmonkey

方法論への批判

ワークロードの変動性: 批判者は、トークン数という指標がモデルの努力とタスクの難易度を混同していると指摘しています。プロジェクトが成熟するにつれて、必要な推論ステップが少なくなる可能性があります。
ベンチマークの選択: Lundgrenは思考トークンを、非常に困難な問題のために設計されたベンチマークであるARC-AGI-2と比較していますが、これは日常的なコーディングタスクに期待されるトークン使用量を過大評価している可能性があります。
データ収集の透明性: この分析は、ワイヤログをキャプチャする中間者プロキシに依存していました。この方法は推論側の変更を明らかにしますが、サーバー側の正確な構成を公開するものではありません。

「分析されたコーパスは、多様なプロジェクトやワークロードにわたる持続的な本番作業中に、xhighおよびmaxの努力レベルでFable 5からのみ取得されたものです。データはトランスクリプトとライブワイヤログから集計されました。分析はそこからさらに悪化します…」 – @Aurornis (方法論に関するコメント)

考えられる説明

コスト主導の計算スロットリング – プロバイダーは、運用コストを管理するために、初期のローンチ期間後にリクエストごとの計算量を削減する可能性があります。
意図的なA/Bテスト – ユーザーコホート間で推論設定をローテーションさせることで、見出しとなるベンチマークスコアを維持しながら、パフォーマンスの低下を隠すことができます。
モデルに依存しない劣化 – 基礎となるモデルが静的なままでサービス層のみが変更されるため、重みの更新なしに同じモデルが弱く見える可能性があります。
ユーザーのワークロードのドリフト – 時間の経過とともに、開発者はより日常的なタスクのためにモデルに依存するようになり、自然と必要な推論トークンが少なくなる可能性があります。

法的および透明性への影響

潜在的な責任: プロバイダーが明確な開示なしに意図的にサービス品質を低下させた場合、ユーザーは契約違反や欺瞞的な慣行を主張する可能性があります。
計算証明の要求: コミュニティメンバーは、プロバイダーに対し、各リクエストに使用された量子化レベルや計算予算のチェックサムのような証明を返すことを義務付けるよう提案しています。

「すべてのLLM APIプロバイダーは、リクエストを処理したモデルの量子化レベルのチェックサムのような証明を返すことを強制されるべきです。基本的な透明性は最低限の要件であるべきです。」 – @reilly3000

ユーザーができること

推論詳細のログ記録: 各リクエストのトークン使用量、モデルバージョン、努力レベルをキャプチャして、回帰を検出します。
セルフホストモデルへの切り替え: Ollamaのようなツールを使用すると、ユーザーは同等のモデルをローカルで実行でき、不透明なサービス変更を回避できます。
公開ベンチマークの要求: プロバイダーに対し、隠れたスロットリングのインセンティブを減らすために、定期的な（例：2〜3日ごと）フィルタリングされていないベンチマーク実行を公開するよう奨励します。

結論

Lon Lundgrenによる6週間の詳細な調査は、Fable 5の推論能力がモデル自体の変更ではなく、推論体制の変更を通じて体系的に削減されたという強力な証拠を提供しています。このパターンは、フロンティアLLMプロバイダー全体で同様の劣化が報告されているという広範なコミュニティの報告を反映しており、コスト主導のスロットリング、透明性、およびユーザーの信頼に関する懸念を引き起こしています。プロバイダーが推論構成を開示するか、検証可能な計算証明メカニズムを採用するまで、ユーザーはパフォーマンスを保護するために独立した監視とセルフホストの代替手段に頼る必要があります。