HarnessTaxの調査：コーディングエージェントにおけるハーネス選択はコストに大きく影響、成功確率にはほとんど影響しない

TL;DR

同じモデルでも、ハーネスの選択によってタスク解決の金額コストが最大5倍に変化する一方、成功確率はほとんど変化せず、最小限のオープンソースハーネス（Pi）はプロプライエタリシステムと同等の効果を発揮することが多い。

HarnessTax評価の概要

HarnessTaxプロジェクトは、7つの言語モデル（Claude、GPT‑5シリーズ、Kimi K3など）と3つのコーディングエージェントハーネス（Claude Code、Codex CLI、オープンソースのPi）の組み合わせを21組評価した。各ペアは、SWE‑bench LiteとTerminal‑Bench 2.0という2つの公開ベンチマークからランダムに抽出された30のタスクに対して実行され、各タスクごとに3回の繰り返しを実施してばらつきを捉えた。コストは2026年9月1日の価格リストに基づきトークンドルール単位で測定され、成功確率は各ベンチマークの公式評価ツールで測定された。

本研究は以下の3つの主要な発見を報告しており、それぞれ下記の独立したセクションで説明する。

発見1：ハーネス選択は主にコストに影響、正しさにはほとんど影響しない

結論： 同じモデルでも、異なるハーネス間でほぼ同じ成功確率を達成するが、トークンコストは最大5倍まで差が出る。

  • 成功確率は、特定のモデルでハーネスを切り替えた場合、SWE‑bench Liteでは**±2 %、Terminal‑Bench 2.0では±5 %**の範囲でしか変化しない。
  • コスト比（幾何平均）では、SWE‑bench LiteにおいてClaude CodeはPiより約2.0×、Codexより**1.6×高価であり、Terminal‑Bench 2.0ではPiより1.5×**高価である。
  • 例：Claude Fable 5はClaude Codeでは97.8 %、Codexでは96.7 %、Piでも96.7 %の成功率を達成するが、Claude Codeのコストは1回あたり**$1.33**、Piは**$0.67**である。

「同じ品質を求めて追加料金を払うのは、まるで…ハーネス税を払っているようなものだ 💰」 – authors, HarnessTax.

示唆： 成功確率にのみ注目するユーザーは、隠れた「ハーネス税」を無意識に負っている可能性がある。評価では、常にハーネス間でのコスト調整済み性能を比較すべきである。

発見2：最小限のハーネスでも競争力がある

結論： 軽量でオープンソースのPiハーネス（read、write、edit、bashの4つのツールのみ提供）は、両ベンチマークでパレート最適解に達している。

  • ターン数はハーネス間で類似している（例：Fable 5はSWE‑bench LiteでPiとClaude Codeがそれぞれ平均約15.4、15.3ターン）。しかし、Claude Codeの1ターンあたりのトークン使用量はPiの約2倍である。
  • 初期コンテキストサイズがコストの主要因：Claude Codeの最初のモデル呼び出しでは、Piよりも10倍以上の文字数の指示とツールスキーマが含まれており、モデル出力の前にトークン消費が膨張する。
  • シンプルなハーネスは成功確率を損なわずにオーバーヘッドを削減するため、豊富なプロプライエタリ機能は多くのタスクでは必須ではないと示唆している。

「PiとCodexの有効性は、既存モデルを用いたオープンソースハーネス研究の機会を示している。」 – authors, HarnessTax.

示唆： セキュリティや整合性の制約が他の場所で処理されている場合、開発者は薄いハーネスを構築または採用することで、コスト効率の良いコーディング支援を実現できる。

発見3：モデルは自社ハーネス外でもよく機能する

結論： プロバイダー固有のハーネス最適化が最良のモデル–ハーネスペアを保証するわけではない。12のモデル間比較のうち、9つで代替ハーネスが最高の成功確率を達成した。

  • AnthropicのClaudeモデルは、Claude Codeに最適化されているにもかかわらず、Codex CLIやPiでも同等またはより良い性能を発揮した。
  • OpenAIのGPT‑5.6 Solは、Terminal‑Bench 2.0でPiでは83.3 %、Codexでは**78.9 %の成功率を達成し、コストは約50 %**に抑えられた。
  • Sonnet 4.6は、Codexでは68.9 %、Claude Codeでは**66.7 %**の成功率を達成し、コストはほぼ同等だった。

「モデルの能力は互換性があり、一般化可能であり、他のハーネスにも持ち越せる。」 – authors, HarnessTax.

示唆： 実務家は、モデルのプロバイダーのデフォルトハーネスが最適であると仮定せず、複数のハーネスで実験するべきである。

Hacker Newsでのコミュニティの反応

  • コスト vs. 信頼性： 複数のコメントで、Piは安価だが、Claude CodeやCodexはより豊かなシステムプロンプトにより、不正なツール呼び出しに対してより信頼性が高いと指摘された。
  • ベンチマークの限界： ユーザーは、2つのオープンソースベンチマークが、トレーニング中に類似データを見たモデルに有利である可能性があり、実世界のワークロードでは異なるコスト–精度トレードオフが現れる可能性があると指摘した。
  • ツール呼び出しの互換性： あるコメントでは、ネイティブのツールシグネチャ（例：ClaudeのEdit、GPTのapply_patch_call）を使用することで、ハーネスそのものよりも性能に大きな影響を与える可能性があると強調した。
  • セキュリティの観点： 一部の意見では、プロプライエタリハーネスの追加コンテキストには安全に関する指示が含まれており、コストは高いが、本番環境では必須である可能性があると述べた。
  • 今後の方向性： 議論は、同時ハーネス設計、動的ハーネス選択、およびトークンコストと信頼性の両方を捉える標準化ベンチマークへの関心を示した。

開発者・研究者への実用的示唆

  1. 成功だけでなくコストを測定する。 コーディングエージェントを評価する際は、パス/フェイルのメトリクスに加えてトークンドルールも記録する。
  2. 薄いハーネスから始める。 Piの4ツール設計は、多くのタスクにおいて最小限でも十分であることを示している。特定のセキュリティやツール機能が必要な場合にのみ複雑性を追加する。
  3. ハーネス間の組み合わせをテストする。 モデルがプロプライエタリハーネスとともにマーケティングされている場合でも、代替ハーネス（例：ClaudeモデルをCodex CLIで実行）で実行して、より安価で同等の効果を持つ設定を見つけるべきである。
  4. 初期プロンプトのサイズに注意する。 大きなシステムプロンプトはコストを支配する可能性がある。不要な指示やツールスキーマを削減することで、即座にコスト削減が可能になる。
  5. ワークロードごとにばらつきに注意する。 报告された結果はSWE‑bench LiteとTerminal‑Bench 2.0に適用される。科学的コードや大規模リファクタリングなど、異なるドメインでは異なるコスト–精度曲線が現れる可能性がある。

今後の研究課題

  • ベンチマークの拡張： 長期的かつマルチセッションワークフローを含む、より広範なタスクのセットを作成し、現在のオープンソースベンチマークを超えるハーネスのテストを行う。
  • 自動ハーネス選択： タスクの特性とリアルタイムフィードバックに基づき、最もコスト効率の良いハーネスを動的に選択するメタエージェントを開発する。
  • セキュリティ vs. コストのトレードオフ： 安全性関連のコンテキスト（例：整合性プロンプト）がコストと失敗モードに与える影響を定量的に評価する。
  • オープンソースハーネスエコシステム： 軽量なハーネスへのコミュニティ貢献を促進し、プロバイダーおよびモデル間の相互運用性を高める。

引用

HarnessTaxの結果を研究や開発で使用する場合は、以下の引用を記載してください：

@misc{pan2026harnesstax,
  title  = {{HarnessTax: How Much Does Harness Matter for Coding Agents?}},
  author = {Pan, Melissa Z. and Yang, Shuo and Arabzadeh, Negar and Chiang, Wei-Lin and Stoica, Ion and Zaharia, Matei},
  year   = {2026},
  url    = {https://harnesstax.github.io/},
}

Sources

関連