GPT-5.6, Claude, and Grok Coding Build-Off: Frontier vs Open-Weights Models
GPT-5.6, Claude, and Grok Coding Build-Off: Frontier vs Open-Weights Models
フロンティアモデルは、複雑で斬新なコーディングタスクにおいて、オープンウェイトの代替モデルに対して引き続き大きなリードを維持していますが、オープンウェイトモデルは一般的な問題に対して非常に高いコスト効率を実現しています。4つの異なるアプリケーションにわたる12のモデルによる大規模なビルドオフにおいて、GPT-5.6 SolとClaude Fable 5が高複雑度な作業でトップのパフォーマンスを発揮し、Qwen 3.7 PlusとGLM-5.2は標準的な実装において効率的であることが証明されました。
Performance on Complex 3D and Logic Tasks
フロンティアモデルは、複雑な空間推論や3Dレンダリングを課せられた際に、著しく高い信頼性を示します。
Doom-style Raycaster Maze
GPT-5.6 SolとGPT-5.6 Lunaは100%の成功率（5/5回の試行）を達成し、最も詳細で一貫性のある結果を生み出しました。Muse Spark 1.1は成功した実行時には高いポテンシャルを示しましたが、一貫性に欠け、5回中3回は失敗しました。オープンウェイトモデルは概して苦戦しており、GLM-5.2はどの試行においても移動可能なキャラクターを生成することに失敗しました。
3D Rubik's Cube
Claude Fable 5はこのタスクにおいて、クリーンな解決策を提示する完璧な5/5の成功率で圧倒しました。GPT-5.6 SolとTerraも良好なパフォーマンス（4/5）を示しましたが、GPT-5.6 Lunaはスクランブル（シャッフル）が即座にビルドを壊してしまったため、完全に失敗（0/5）しました。Claude Opus 4.8は予想外にも完璧な解決策を一度も提示できず（0/5）、同じモデルファミリー内でもパフォーマンスの差があることを浮き彫りにしました。
Performance on Standard Application Logic
学習データが豊富なタスクや、より単純なロジックを必要とするタスクでは、フロンティアモデルとオープンウェイトモデルの差は大幅に縮まります。
Functional Calculator
Claudeモデル（Opus 4.8およびFable 5）は完璧な5/5の成功率を達成し、特にFable 5は優れたスタイリングで注目を集めました。GPT-5.6 Solも5/5を達成しましたが、ユーザーエクスペリエンスを損なうほどの過剰なスタイリング（3Dレンダリングの試行）が批判されました。Grok 4.5とGPT-5.6 Lunaも5/5の一貫性を維持しました。
Conway's Game of Life
オープンウェイトモデル、特にQwen 3.7 PlusとGLM-5.2は、このタスクにおいて非常に優れたパフォーマンスを発揮しました。Game of Lifeは、広範なオープンソースの例が存在する、よく知られた問題であるため、これらのモデルはフロンティアモデルのわずかな一部のコストで高品質な結果を提供することができました。
Model Efficiency: Speed and Cost
高コストなフロンティアモデルと、高速なオープンウェイトモデルの間には、顕著なコントラストがあります。
| Model | Time to First Token | Throughput | Cost per 1k Tokens |
|---|---|---|---|
| GPT-5.6 Luna | 1.0s | 97 tok/s | $0.001 |
| Qwen 3.7 Plus | 2.1s | 204 tok/s | $0.001 |
| Grok 4.5 | 3.0s | 112 tok/s | $0.003 |
| Claude Fable 5 | 6.6s | 30 tok/s | $0.01 |
| DeepSeek V4 Pro | 9.3s | 37 tok/s | $0.001 |
GPT-5.6 Lunaは短いプロンプトに対して最も速いモデルであり、Qwen 3.7 Plusは最高のスループットと最低のコストを提供します。DeepSeek V4 ProとGLM-5.2は、レスポンスタイムが著しく遅いことが指摘されました。
Creative SVG Rendering
ワンショットのSVG生成タスクにおいて、Claude Fable 5は、詳細さと構成の両面で他のすべてのモデルを上回りました。技術系億万長者がロケットの着陸を見守る複雑なシーンを描写するタスクでは、Fable 5は煙や照明効果といった特定の詳細を含むクリーンなレンダリングを生成しました。対照的に、GPT-5.6モデルは、よりカートゥーン調で精度の低い結果を生み出しました。
Summary of Model Positioning
- GPT-5.6 Sol & Claude Fable 5: 複雑で斬新、あるいはリスクの高いコーディングプロジェクトにおけるゴールドスタンダード。
- Grok 4.5: Claude Opusに対する非常に競争力のある代替案であり、パフォーマンスとコストのバランスが優れている。
- Qwen 3.7 Plus & GLM-5.2: コストと速度が主な要因となる、標準的でドキュメント化されたタスクに理想的。
- Muse Spark 1.1: オープンウェイトとフロンティアモデルの中間に位置する有望なデビュー作ですが、メインの利用には必要な一貫性が欠けています。