Claude Code のエフォートレベル A/B テストとユーザーフィードバック

Claude Code における Anthropic のエフォートレベルのマッピング A/B テスト

Anthropic は、Claude Code (versions 2.1.236+) における数値的なエフォート値が「effort」設定にどのようにマッピングされるかについて、サーバーサイドの A/B テストを実施しています。これらのテストでは、「high」エフォート設定に関連付けられた数値が、以前のバージョンよりも低い数値（例：100 中の 10）にマッピングされることがあり、その結果、一部のユーザーがモデルのパフォーマンスや「知能」の低下を感じる原因となっています。

技術的な実装と公式の回答

Claude Code チームの Thariq は、これらの変更がサーバーサイドの API サービング構成であると説明しています。表示またはログに記録される数値（例：high エフォート設定に対して「10」と表示されるなど）は内部的なマッピングであり、必ずしも実際の的な 0-100 スケールのエフォートを表しているわけではありません。

Claude Code チームによると、ユーザーが選択したエフォートレベルは、実際のモデルのパフォーマンスに関しては変わりません。チームは、詳細な評価によって、これらのマッピングの変更がモデルのパフォーマンスに影響を与えないことを確認したと主張しています。明らかな性能低下（リグレッション）を経験しているユーザーは、/feedback コマンドを使用して、セッション ID と共に問題を報告することが推奨されています。

モデルのパフォーマンスに対するユーザーの認識

公式の保証にもかかわらず、複数のユーザーが、新しいモデルバージョン、特に「Fable」と「Opus 5」において、出力の品質が著しく低下したと報告しています。

• タスク実行の非効率性: あるユーザーは、以前はバージョン 4.6 で 2 分未満で完了していた単純な設定ファイルの更新が、Opus 5 では 43 分かかり、リクエストの範囲を超えた不要なサンドボックスやテストスイートが含まれてしまったと報告しました。
• 脱線とオーバーエンジニアリング: 一部のユーザーは、Opus 5 や Sonnet 5 が、以前のモデルと比較して、特に「high」エフォートに設定されている場合に、求められていない脱線を行う傾向があることを観察しています。
• モデルの劣化: 一部のユーザーは、Fable モデルの品質低下を感じたため、サブスクリプションをダウングレードするか、代替モデル（Codex や GLM-5.3 など）に切り替えています。

AI のインセンティブと請求に関するコミュニティの議論

この出来事は、LLM プロバイダーの透明性に関する、より広範なコミュニティの議論を巻き起こしています。ユーザーは、「enshitification」（製品が利益を最大化するためにユーザーにとって使いにくくなるプロセス）や、トークンベースの請求に関する同様の不透明さについて懸念を表明しています。

"Why are we allowing billing to take place in tokens that are nebulous and fully controlled by the operators who have no aligned incentives?"

批判的な意見を持つ人々は、生の計算リソースやリソース使用量ではなく、トークンベースの請求モデルは、プロバイダーがユーザーの可視性なしにバックエンドでモデルの挙動やルーティングを変更することを可能にし、結果として低品質な回答に対してより高いコストがかかる可能性があると主張しています。