Grok-2 Beta Release

xAI 已宣布 Grok-2 與 Grok-2 mini 的測試版發布，這標誌著在對話、程式碼編寫與推理能力方面較 Grok-1.5 有顯著進步。這些模型目前已開放給 — Premium 與 Premium+ 用戶使用，並將於 2024 年 8 月稍晚透過企業級 API 發布。

前沿性能與基準測試

Grok-2 在多項學術基準測試中展現了頂尖的性能，可直接與其他前沿模型競爭。

在 LMSYS Chatbot Arena 上以 "sus-column-r" 名義進行測試的 Grok-2 早期版本，在整體 Elo 分數方面超越了 Claude 3.5 Sonnet 與 GPT-4 Turbo。AI Tutors 的內部評估專注於指令遵循與事實準確性，顯示其在工具使用以及利用檢索內容進行推理方面有顯著改進，特別是在識別缺失資訊與捨棄無關貼文方面。

技術基準測試結果

Grok-2 與 Grok-2 mini 在推理、數學、科學與程式碼編寫方面，相較於 Grok-1.5 均有大幅提升。

Benchmark	Grok-1.5	Grok-2 mini	Grok-2	GPT-4 Turbo	Claude 3 Opus	Gemini Pro 1.5	Llama 3 405B	GPT-4o	Claude 3.5 Sonnet
GPQA	35.9%	51.0%	56.0%	48.0%	50.4%	46.2%	51.1%	53.6%	59.6%
MMLU	81.3%	86.2%	87.5%	86.5%	85.7%	85.9%	88.6%	88.7%	88.3%
MMLU-Pro	51.0%	72.0%	75.5%	63.7%	68.5%	69.0%	73.3%	72.6%	76.1%
MATH	50.6%	73.0%	76.1%	72.6%	60.1%	67.7%	73.8%	76.6%	71.1%
HumanEval	74.1%	85.7%	88.4%	87.1%	84.9%	71.9%	89.0%	90.2%	92.0%
MMMU	53.6%	63.2%	66.1%	63.1%	59.4%	62.2%	64.5%	69.1%	68.3%
MathVista	52.8%	68.1%	69.0%	58.1%	50.5%	63.9%	—	63.8%	67.7%
DocVQA	85.6%	93.2%	93.6%	87.2%	89.3%	93.1%	92.2%	92.8%	95.2%

註：Grok-2 MMLU、MMLU-Pro、MMMU 與 MathVista 是使用 0-shot CoT 進行評估；MATH 結果為 maj@1；HumanEval 結果為 pass@1。

視覺與多模態能力

Grok-2 在視覺任務方面表現出色，特別是在視覺數學推理與基於文件的問答。

根據基準測試數據，Grok-2 在 MathVista 達到 69.0%，在 DocVQA 達到 93.6%，在這些領域提供了頂尖的性能。xAI 也宣布了多模態理解作為 Grok 體驗的核心部分預覽，並將於近期發布 API。

整合與可用性

Grok-2 與 Grok-2 mini 已整合至 — platform，並配備了重新設計的介面與新的功能集。

— Premium 與 Premium+ 用戶可以透過 — app 中的 Grok 分頁存取這些模型。Grok-2 作為文本與視覺理解的頂尖級助手，而 Grok-2 mini 則在速度與品質之間取得了平衡。此外，xAI 正在嘗試使用來自 Black Forest Labs 的 FLUX.1 模型來擴展 Grok 在該平台上的能力。

企業級 API 平台

開發者將於 2024 年 8 月稍晚透過新的企業級 API 平台存取 Grok-2 與 Grok-2 mini。該 API 基礎設施具備以下特性：

多區域推理部署，以實現低延遲的全球存取。
增強的安全性，包括強制性的多因素驗證（Yubikey、Apple TouchID 或 TOTP）。
管理工具，包括用於將團隊、用戶與帳單管理整合至內部服務的管理 API，以及豐富的流量統計與帳單分析。