Claude Fable 5 vs. GPT‑5.6 Sol on KIRO NP‑Hard Fiber Network Benchmark

Claude Fable 5 vs. GPT‑5.6 Sol on KIRO NP‑Hard Fiber Network Benchmark

TL;DR

Claude Fable 5 は KIRO ファイバーネットワークベンチマークで全体的に最良の解を出し、結果は GPT‑5.6 Sol よりもはるかに一貫していました。ネイティブの /goal フラグは多くの個別実行で役立ちましたが、両モデルの平均スコアを上げてしまい、/goal が信頼できる汎用的な「もっと頑張れ」スイッチではないことを示しています。

The KIRO Problem

このベンチマークは KIRO と呼ばれるオペレーションリサーチ課題で、2018 年のハッカソンで学生に出題されたものです。解決者はフランスの 3 都市（グルノーブル、ニース、パリ）に対して、配布ハブと端末をループと短い枝で接続し、構造上の制約を守りながらファイバーネットワークを設計します。目的は 総ケーブル長を最小化 することです。

Search‑space magnitude

  • 順序や枝を無視し、532 個の端末それぞれを 11 個のハブのいずれかに割り当てると 11^532 通りの可能性があります。
  • 解を正確に 19 本のループ（各 28 端末、枝なし）に限定すると、下限はおよそ 10^1223 通りの有効構成になります。

これらの数値は、問題が NP‑hard であることを示す組み合わせ爆発を表しています。

Experimental Setup

Parameter Value
Models Claude Fable 5, Opus 4.8, Sonnet 5; OpenAI GPT‑5.6 Sol, Terra, Luna
Modes Plain (no hint) and native /goal
Budget per run 30 minutes of wall‑clock time
Outer‑agent timeout 1 900 seconds
Reasoning Maximum available for each model
Execution environment Harbor 0.1.43, Docker, subscription authentication

主な比較はフラッグシップペア（Fable 5 vs. Sol）に焦点を当て、各モードで 3 回のマッチドランを実施しました。全 6 モデルは 30 分間ヒントなし設定で 1 回ずつ実行し、より広い視点も提供しています。

Results Overview

All‑model baseline (single 30‑minute run)

各モデルを 1 回ずつマッチドランした結果、スコアが低いほど良いことが分かります。図（ここでは再掲しません）は Fable 5 と Sol が分布の上位に位置し、残り 4 モデルはそれより下回っていました。

Flagship comparison (three runs each)

Model Run Plain score /goal score Δ (/goal − plain)
Fable 5 1 32 197 31 934 ‑263
2 32 516 32 324 ‑192
3 32 446 35 178 +2 732
GPT‑5.6 Sol 1 33 581 39 371 +5 790
2 35 539 32 703 ‑2 836
3 33 663 33 313 ‑350

負の Δ は /goal の方が良いことを示します。

Aggregate statistics

Model Plain mean /goal mean Mean Δ Median Δ
Fable 5 32 386 33 145 +759 (worse) ‑192 (better)
GPT‑5.6 Sol 34 261 35 129 +868 (worse) ‑350 (better)

解釈: /goal は 6 回の個別実行のうち 4 回で勝っていますが、平均スコアは数回の大きな退化により悪化しています。

Consistency comparison

  • Fable 5 のプレーンスコアは 319 点 の範囲で変動しましたが、Sol のプレーンスコアは 1 958 点 の範囲でした。
  • 全体で最も良いクリーンスコアは 31 934（Fable 5 の /goal）でした。

How /goal Works Internally

二つの異なる実装があります。

Claude Code (/goal as a stop‑hook)

  • 各モデルターンの後、小さな評価モデル（デフォルトは Haiku）がトランスクリプトを読み取り、目標が満たされたかを判断します。
  • 評価者は会話だけを見られ、ファイルやツールを検査することはできません。
  • “no” の応答が出ると別のターンが続き、“yes” になると目標がクリアされます。
  • ドキュメント: Anthropic の goal docs。

OpenAI Codex (/goal as persisted state)

  • CLI が目標を SQLite データベースに保存し、ツール呼び出し（create_goal, get_goal, update_goal）を提供します。
  • スレッドがアイドルになると、Codex が目的と完了監査を含む継続ターンを注入します。
  • 作業モデルはファイルやツールを検査でき、実質的に自分の作業を採点できます。
  • ソース参照: thread goal actions, SQL schema, tool spec。

Why /goal Can Win Most Runs Yet Harm Average Performance

典型的なコーディングタスクでは進捗が段階的かつ可視化でき、余分なターンで失敗テストを修正できることが多いです。ハードな最適化問題では、一度ソルバーが選択されると 追加時間は既存の探索方向を増幅 します。初期決定が良い探索領域に導けば /goal は有益ですが、悪い領域に導けば余分な時間がミスを深めます。これが、中央値ではわずかな改善が見られる一方で、平均を支配する大きな退化が発生する理由です。

Limitations of the Study

  • 未公開の NP‑hard ベンチマークが 1 つだけ使用されたため、結果が他の問題に一般化できるとは限りません。
  • クリーンなマッチドランは Fable 5 と Sol のみ 3 回利用可能で、他モデルは各 1 回のみでした。
  • 実験はサブスクリプションサービス上で順次実行されたため、ドリフトが生じる可能性があります。
  • コンテナはメタデータで 1 CPU と宣言されているにもかかわらず 8 CPU を公開しており、Fable の並列ポートフォリオ手法に有利に働いた可能性があります。
  • すべての出力はラッパーが早期チェックポイントと最終検証を強制したため有効でした。したがってベンチマークは システム全体（モデル、CLI、プロンプト、サブスクリプションサービス、ハーネス）を測定しています。

Reproducing the Benchmark

完全なベンチマークコード、ラッパー、分析スクリプト、図生成ツール、証拠メモは CLIArena リポジトリ にあります。サイズが大きいためジョブディレクトリは省略していますが、メモにはすべてのスコア、都市別内訳、経過時間、戦略、除外項目、ラン ID が記録されています。

主なコマンド:

RUN_ID=article-kiro-YYYYMMDD-clean \
PHASE=nohint-all \
./scripts/run_subscription_article_matrix.sh

uv run python scripts/summarize_subscription_article_results.py $RUN_ID ...
uv run python scripts/analyze_subscription_article_results.py $RUN_ID ...

Community Insights

"上部のチャートは少し混乱します。‘lower is better’ と書かれているのに y 軸が逆になっている！" – tyleo

"Ultra mode は並列調査員を展開でき、局所最適を回避できる。/goal は単一トラック調査に向いている。" – theptip

"Claude は長期指示を忘れがちだが、/goal は短いセッションで最重要指示を保持するのに役立つかもしれない。" – Tenoke

"Anthropic のコーディング性能は OpenAI に遅れを取っている。Codex は大規模コードベースで速く柔軟に感じる。" – sreekanth850

"/goal は多くのユーザーにとって plan mode の代わりになっている。モデルに具体的な目標に一定時間を費やさせることで、より堅牢な出力が得られる。" – o10449366

これらのコメントは、/goal の実務的な体験、モデルファミリー間のトレードオフ、将来の評価モードへの提案を示しています。

Takeaway

実験は Claude Fable 5 が複雑な NP‑hard ファイバーネットワーク設計タスクにおいて GPT‑5.6 Sol よりもはるかに強く、スコアが低く一貫性も高いことを示しています。ネイティブの /goal フラグは個々の実行を改善することがありますが、良い探索方向と悪い探索方向の両方を増幅するため、平均パフォーマンスを低下させがちです。したがって、/goal は「全体的にもっと頑張れ」的な万能スイッチとしてではなく、慎重に使用すべきオプションです。

Sources