FrontierHarness Eval: AIコーディング・ハーネスのベンチマーク

ハーネス選択がAIコーディングのパフォーマンスに与える影響

FrontierHarness Evalは、「ハーネス」（LLMを取り巻く実行環境、ツールセット、およびオーケストレーション層）が、パフォーマンスとコストの決定的な要因であることを示しています。同じモデル（Kimi K3）を使用して12の異なる構成で制御されたテストを行った結果、ソフトウェアエンジニアリング・タスクの合格率は50%から66.7%の間で変動し、タスクあたりのコストの中央値は$1.05から$18.34の範囲となり、同じ基盤となる知能に対して支出に17倍の差が生じることが示されました。

パフォーマンスとコストのリーダーボード

この評価では、同一のソフトウェアエンジニアリング・タスクに対して、12の構成で9つのハーネスをテストしました。結果は、品質、コスト、および速度の間の急激な乖離を示しています。

品質と合格率

Codexが66.7%の合格率で品質のリーダーとなり、次いでClaude CodeとDSH Creatorが共に63.3%となりました。

最高合格率: Codex (66.7%)
中位圏: Pi, DSH PTC, および DSH Standard (60.0%)
最低合格率: Hermes と OpenCode (50.0%)

コスト効率

コストは、ターン数やツール呼び出しを管理するハーネスの効率性に基づいて大きく変動します。Exo Harnessはタスク全体の支出における総合的なコストリーダーであり、OpenCodeは成功したタスクあたりの最低中央値コストを示しています。

タスクあたりの最低中央値コスト: Exo Harness ($1.0452)
タスクあたりの最高中央値コスト: Claude Code ($18.3368)
成功したタスクあたりの最低中央値コスト: OpenCode ($0.0615)

実行速度

速度は、成功したタスクを完了するまでの時間の中央値で測定されます。DSH Minimalが最も速い構成です。

速度リーダー: DSH Minimal (5m 41s)
最遅: Claude Code (9m 38s)

技術的な手法

結果がモデルの差異や環境のノイズではなく、ハーネスの能力に基づいていることを確実にするため、評価では厳格な制御プロトコルを採用しました。

モデルの一貫性: すべての実行においてKimi K3モデルを使用しました。
環境の隔離: すべての360回の試行は、Runta上の新しいチェックポイント復元から開始され、同一のvCPU、メモリ、ディスクサイズ、ディスク内容、およびメモリ状態が保証されました。
コールドスタート: ウォームキャッシュのバイアスを防ぐため、すべての実行は新しい復元から開始されました。
焦点: ベンチマークは、特にソフトウェアエンジニアリングの文脈とターミナルベースのタスクを対象としています。

主要な技術的洞察

品質とコストの乖離

高い合格率は、必ずしも低いコストと線形に相関するわけではありません。例えば、Claude Codeは高い合格率（63.3%）を達成しましたが、タスクあたりのコストが最高（$18.34）となりました。これは、より徹底的または高価なオーケストレーション戦略が、より頻繁に成功するものの、より高い価格帯で実行されることを示唆しています。

キャッシュヒット率 vs. 実際のコスト

CodexとKimi Codeは、最も高い中央値キャッシュヒット率（88.0%）を示しましたが、評価では、キャッシュヒット率がコストの直接的な指標ではないことに注意しています。300ターンの失敗する長いシーケンスがキャッシュされていても、キャッシュミスが発生する短いシーケンスよりも高価になる可能性があります。

コミュニティ・アナリシスと反論

技術的なユーザーによるHacker Newsでの議論は、ベンチマークにおけるいくつかの注意点や潜在的なバイアスについて強調しています。

モデル-ハーネスの結合: 一部のユーザーは、Kimi K3のみをテスト対象とすることが結果を歪める可能性があると主張しました。あるユーザーは、一部のハーネスは特定のモデルの癖（例：Kimiのツール呼び出しループの傾向）に特化して最適化されているため、Kimiで優れた性能を発揮するハーネスがClaudeやGPTで同等の性能を発揮しない可能性があると指摘しました。
統計的有意性: 批判的な意見として、ハーネスあたり30個のサンプルのみでは、正確性の信頼区間が広すぎて、トップパフォーマーを決定的に定義づけるには不十分である可能性を指摘する声がありました。
中央値 vs. 平均値: 一部の観察者は、平均コストではなく中央値コストを使用することが、実際の財務的影響を過小評価する可能性があると指摘しました。非常に高価な失敗する実行が数回あれば、それだけで平均値を大幅に引き上げる可能性があるためです。
ハーネスの肥大化: Pi (合格率60%)のような最小限のハーネスの高性能は、多くの複雑なハーネスが不必要に肥大化している可能性を示唆しています。

"As models become commodities, the harness will be the next optimizing game."

"Testing it against Kimi is potentially skewing the numbers massively... Harnesses built to deal with e.g. Anthropic's models primarily, do not need to deal with that."

テストされたハーネスのバージョン

Harness	Version
Codex	v0.148.0
DeepSeek Harness (DSH)	v0.1.0-rc.8
Claude Code	v2.1.237
Pi	v0.84.2
Oh My Pi	v17.4.0
Kimi Code	v0.37.2
Exo Harness	v0.1.0
OpenCode	v1.18.19
Hermes	v0.20.4