Ed‑o‑meter ベンチマークが示す GLM‑5.3 が Anthropic および OpenAI モデルを 5 分の 1 のコストで打ち負かす

GLM‑5.3 が Ed‑o‑meter リーダーボードを制覇。GPT‑5.5 の約 5 分の 1 のコストで 100 % の合格率を達成

要点: 最新の Ed‑o‑meter ベンチマークにおいて、オープンウェイトモデルの GLM‑5.3 はすべてのテストコーナーをパーフェクトな合格率でクリアし、9.3 のルーブリックスコア、1 ラップあたり $0.28 の総コストを達成しました。これは GPT‑5.5 の $1.43 という価格の約 20 % にあたります。汎用ワークロードにはこの単一モデルの選択が推奨されますが、特定のユースケースではより高速または低コストな代替手段も存在します。

ベンチマーク手法は透明性が高く、17 のモデル間で均一

結論: Ed‑o‑meter は、同一のプロンプト、決定論的な採点、単一の OpenRouter ストリーミングパスを使用して、すべてのモデルで同じ 28 の実世界タスクを実行します。したがって、差異は実験のバラつきではなくモデルの挙動を反映しています。

すべてのモデルは、コーディング、データ、実世界、セキュリティ、ツール使用の 5 つのコーナーで構成される固定の「ラップ」で評価されました。各コーナーには複数のユニットテスト形式のタスクが含まれています。
各モデルはタスクごとに 1 回しか実行されないため、合格率はウィルソン 95 % 信頼区間で報告されています。
レイテンシは、同じストリーミング条件下での最初のトークンまでの時間 (TTFT) の中央値として測定されます。
コストは、回答試行のみに適用されたプロバイダ提示のトークン単価から計算されます (拒否は別途記録されます)。
LLM ルーブリック (品質スコア) は、保存された回答テキストに基づき別のモデル (fable‑5) によって生成されます。その自己バイアスは脚注に明記されています。
ハーネス全体、タスク定義、およびバイナリチェッカーは、MIT ライセンスの Featherbench リポジトリでオープンソース化されています。

総合結果では GLM‑5.3 が品質とコスト効率の両方でトップに

結論: GLM‑5.3 は、5 つすべてのコーナーで 100 % の合格率を達成した唯一のモデルであり、9.3 のルーブリックを獲得し、1 ラップあたり $0.28 のコストとなっています。

順位	モデル	合格率 (95 % CI)	ルーブリック	セキュリティ合格	TTFT	ラップコスト	コスト / タスク
1	glm‑5.3	100 % [88–100]	9.3	100 %	16.3 s	$0.28	$0.0101
2	deepseek‑v4‑pro	96 % [82–99]	8.7	83 %	40.0 s	$0.081	$0.0029
3	gemini‑3.6‑flash	96 % [82–99]	8.8	83 %	6.6 s	$0.48	$0.0170
4	gpt‑5.5	96 % [82–99]	8.7	100 %	13.2 s	$1.43	$0.0510
…	…	…	…	…	…	…	…

この表には上位 4 つのモデルが表示されています。完全なリーダーボードには 17 のモデルが含まれています。

モデル別のハイライト

GLM‑5.3 はオールラウンドのチャンピオン

結論: GLM‑5.3 は (コーディング、データ、実世界、セキュリティ、ツール使用) のすべてのコーナーを 100 % の合格率でクリアし、16.3 s という控えめな TTFT にもかかわらず、最も安全な単一モデルの選択肢となっています。

9.3 のルーブリックは、全モデル中で 3 番目に高いスコアです。
タスクあたりのコスト ($0.0101) は、クローズドソースの競合他社と比較して劇的に低いです。
応答時間の遅さが主なトレードオフです。レイテンシが重要なアプリケーションでは、同等のセキュリティを備え、より高速な (13.2 s) GPT‑5.5 が適しています。

GPT‑5.5 は速度と品質の比率で最も優れている

結論: GPT‑5.5 は GLM‑5.3 と同等の 100 % のセキュリティ合格率と 89 % の実世界合格率を達成しつつ、13.2 s の TTFT を実現していますが、ラップコストは $1.43 で約 5 倍高くなっています。

GPT‑5.6‑luna は大容量・低リスクのジョブに最適な低コストのワークホース

結論: 1 ラップあたり $0.064 (タスクあたり $0.0023) と 5.3 s の TTFT により、GPT‑5.6‑luna は時折の失敗が許容されるバッチワークロードに最適です。

全体の合格率は 79 % で、セキュリティ合格率は 33 % に低下するため、本番環境で使用する前に結果を検証する必要があります。

Haiku‑4‑5 は適度なコストで超低レイテンシを実現

結論: Haiku‑4‑5 は 0.9 s で応答し、1 ラップあたり $0.12 のコストで 96 % の全体合格率を達成しており、インタラクティブなユースケース向けの最速モデルとなっています。

Kimi‑K3 は最高のルーブリックスコア (9.5) を達成

結論: Kimi‑K3 の 9.5 というルーブリックは、評価された回答品質が最も高いことを示していますが、26.4 s の TTFT と 75 % のデータコーナー合格率が、リアルタイムアプリケーションへの適性を制限しています。

Opus‑5 はプロバイダ側のフィルタリングによる測定アーティファクトを示す

結論: Opus‑5 の 43 % のコーディング合格率は、真の能力不足ではありません。4 つの無害な coding‑debug‑* タスクがトークン生成前にブロックされ、失敗数が不当に増加させられました。

セキュリティ調査結果が GPT‑5.6 ファミリーの弱点を露呈

結論: GPT‑5.6 の 3 機種 (luna, terra, sol) は、12 のセキュリティセルのうち 11 でジェイルブレイクカナリアをトリガーしたため、セキュリティ合格率が低く (33 %–50 %) なっています。

対照的に、GPT‑5.5、Claude の Haiku シリーズ、および Opus‑5 モデルは 100 % のセキュリティ合格率を達成しました。
GPT‑5.6 系のモデルをデプロイする際は、堅牢なレッドチーミングと外部フィルターを導入すべきです。

コミュニティの反応に懐疑的な意見と称賛が浮き彫りに

結論: Hacker News のコメント投稿者たちは、ベンチマークの透明性への称賛と、その妥当性への疑念で意見が分かれています。特に Haiku の高スコアや自己採点のルーブリックへの依存について疑念が呈されています。

"This whole thing immediately reads as Claude generated, making it hard to take seriously. Why do these results contradict existing serious attempts at benchmarking LLMs?" – hellohello2

"Almost 10 models are passing the benchmark >95% – isn’t that substantially overly saturated? I'm also really skeptical of benchmarks that place any Haiku model very high." — jchw

"One problem is that $30 per run is really noisy for many verifiable tasks. We just published GLM‑5.3 results on our multi‑agent coding evaluations and it's definitely an impressive model, coming in around #6. For the price, it's actually not Pareto optimal, falling slightly behind Grok‑4.6 (which is faster and the same price)." — gertlabs

"IDK I use open models every day for personal projects, and closed models for work. Open models are all decidedly far behind Fable and a good bit behind Opus as well. All of these posts read like motivated/wishful thinking to me." — solenoid0937

"If you run one model, run glm‑5.3. That is a horrible take‑away from this, with only 28 tasks and a high pass rate for most models, it says almost nothing. Test a model for your use case and use the fastest, smallest, cheapest model that 100 % satisfies your use case." — CMay

これらのコメントは、3 つの繰り返される懸念を浮き彫りにしています:

ベンチマークの広さ – 28 のタスクでは、実世界の複雑さをすべて捉えきれない可能性があります。
ルーブリックのバイアス – 品質スコアは fable‑5 によって生成されており、自己採点であるため、自身の出力を過大評価する可能性があります。
プロバイダのフィルタリングの影響 – ブロックされたタスク (例: Opus‑5 の coding‑debug) により、合格率が不当に下がる可能性があります。

著者らが明記した制限事項と注意点

結論: Ed‑o‑meter の著者らは、潜在的な歪みの 4 つの主な原因を認めています。

ルーブリックの採点 は fable‑5 によって事後的に行われます。自己採点であることは表に明記されています。
Fable‑5 自身のルーブリック (9.3) は限られた 11 回の試行サンプルに基づいており、上方にバイアスがかかっている可能性があります。
レシピチェッカーの偽陽性 により、3 つのモデルが非食材への言及を含んでいたにもかかわらず、ベジタリアンレシピタスクに合格したと判定されました。
fable‑5 と opus‑5 のコスト計算 は拒否を除外しており、これを含めるとこれらのモデルが安く見えてしまいます。

Ed‑o‑meter を自分で実行する

結論: このベンチマークは完全に再現可能です。誰でも Featherbench リポジトリをクローンし、追加のモデルを評価できます。

ハーネス、タスク定義、バイナリチェッカーは https://github.com/ed‑is‑ai/featherbench (MIT ライセンス) で入手できます。
新しいモデルをリクエストするには、モデル名、API ルート、およびその理由を記載した GitHub issue を開いてください。
現在の価格設定で 28 タスクのスイート全体を実行するのにかかるコストは約 $30 であり、小規模な研究でも手頃な価格です。

まとめ

結論: GLM‑5.3 は現在、普遍的な正確性、妥当なレイテンシ、超低コストの最良の組み合わせを提供しており、単一の信頼できる LLM を必要とする開発者にとってのデフォルトの選択肢として位置づけられます。より高速な代替手段 (GPT‑5.5、Haiku‑4‑5) や、より安価なバッチ指向モデル (GPT‑5.6‑luna) がニッチな役割を果たす一方で、GPT‑5.6 ファミリーのセキュリティ上の欠陥や Opus‑5 に影響を与えるフィルタリングのアーティファクトは、実務者に対して独自の安全要件に照らし合わせてモデルの挙動を検証することを促すものです。

主要な数値の概要

指標	GLM‑5.3	GPT‑5.5	GPT‑5.6‑luna	Haiku‑4‑5
全体合格率	100 %	96 %	79 %	96 %
セキュリティ合格率	100 %	100 %	33 %	100 %
ルーブリック	9.3	8.7	8.6 (自己採点)	7.4
TTFT	16.3 s	13.2 s	5.3 s	0.9 s
ラップコスト	$0.28	$1.43	$0.064	$0.12
コスト / タスク	$0.0101	$0.0510	$0.0023	$0.0044

今後の課題

28 項目を超えてタスクスイートを拡張することで、統計的ノイズが減り、合格率の差異に対する信頼性が向上します。
モデルごとに複数回の実行を導入することで、ウィルソン区間が狭まり、変動性が明らかになります。
独立した、自己バイアスのない評価者によるルーブリックの再評価は、fable‑5 の自己採点に関する懸念に対処するでしょう。
異なるルーティングプロバイダ間で TTFT を追跡することで、ネットワークレベルのレイテンシの影響が明らかになる可能性があります。

実務者への要点: 汎用ワークロードには GLM‑5.3 から始め、レイテンシが重要な場合は GPT‑5.5 に切り替え、セキュリティ関連の障害を許容できる安価で高スループットなパイプラインには GPT‑5.6‑luna を確保してください。本番環境へのデプロイを決定する前に、必ず独自のドメイン固有のタスクでモデルを検証してください。