GPT-5.6、Claude 與 Grok 程式碼比拼:前沿模型 vs 開放權重模型

GPT-5.6、Claude 與 Grok 程式碼比拼:前沿模型 vs 開放權重模型

Frontier 模型在複雜、全新程式碼任務上仍保持顯著領先,儘管開放權重模型在一般問題上具備極高的成本效益。在一次涵蓋 12 種模型、四個不同應用的大規模比拼中,GPT-5.6 Sol 與 Claude Fable 5 成為高複雜度工作的最佳表現者,而 Qwen 3.7 Plus 與 GLM-5.2 則在標準實作上展現高效率。

複雜 3D 與邏輯任務的表現

在需要複雜空間推理與 3D 渲染的任務上,Frontier 模型的可靠性顯著更高。

Doom 風格光線追蹤迷宮

GPT-5.6 Sol 與 GPT-5.6 Luna 取得 100% 成功率(5/5 次嘗試),產出最詳盡且一致的結果。Muse Spark 1.1 雖在成功執行時展現出高度潛力,卻不穩定,5 次嘗試中失敗 3 次。開放權重模型普遍表現不佳,GLM-5.2 在任何一次嘗試中都未能產生可移動的角色。

3D 魔方

Claude Fable 5 在此任務中稱霸,取得完美的 5/5 成功率。GPT-5.6 Sol 與 Terra 也表現不錯(4/5),但 GPT-5.6 Luna 完全失敗(0/5),因為在打亂時即破壞了建構。Claude Opus 4.8 意外地未能完成一次完美解答(0/5),顯示即使同屬一個模型系列,也存在性能落差。

標準應用邏輯的表現

對於訓練資料豐富或邏輯較簡單的任務,Frontier 與開放權重模型之間的差距顯著縮小。

功能計算機

Claude 系列模型(Opus 4.8 與 Fable 5)取得完美的 5/5 成功率,其中 Fable 5 以更佳的樣式表現突出。GPT-5.6 Sol 亦達到 5/5,但因過度美化(嘗試 3D 渲染)而影響使用者體驗受到批評。Grok 4.5 與 GPT-5.6 Luna 也保持了 5/5 的一致性。

康威生命遊戲

開放權重模型,特別是 Qwen 3.7 Plus 與 GLM-5.2,在此任務上表現極佳。由於生命遊戲是已被廣泛探討的問題,且有大量開源範例,這些模型能以遠低於前沿模型的成本交付高品質結果。

模型效率:速度與成本

高成本的前沿模型與高速的開放權重模型之間的表現差異十分明顯。

Model 首個 Token 所需時間 吞吐量 每 1k Token 成本
GPT-5.6 Luna 1.0 秒 97 tok/s $0.001
Qwen 3.7 Plus 2.1 秒 204 tok/s $0.001
Grok 4.5 3.0 秒 112 tok/s $0.003
Claude Fable 5 6.6 秒 30 tok/s $0.01
DeepSeek V4 Pro 9.3 秒 37 tok/s $0.001

GPT-5.6 Luna 是短提示下最快的模型,而 Qwen 3.7 Plus 提供最高吞吐量與最低成本。DeepSeek V4 Pro 與 GLM-5.2 的回應時間則顯著較慢。

創意 SVG 渲染

在一次性 SVG 生成任務中,Claude Fable 5 在細節與構圖上超越所有其他模型。於一個描繪科技億萬富翁觀賞火箭著陸的複雜場景中,Fable 5 產出乾淨的渲染,包含煙霧與光效等具體細節。相較之下,GPT-5.6 系列模型的結果較為卡通化且精確度較低。

模型定位總結

  • GPT-5.6 Sol 與 Claude Fable 5:複雜、全新或高風險程式碼專案的黃金標準。
  • Grok 4.5:與 Claude Opus 競爭的強力替代方案,兼具性能與成本的良好平衡。
  • Qwen 3.7 Plus 與 GLM-5.2:適用於標準、文件完善的任務,成本與速度為主要考量。
  • Muse Spark 1.1:具潛力的首次亮相,介於開放權重與前沿模型之間,但缺乏作為主要使用者所需的一致性。

Sources