Grok-2 ベータ版リリース

xAIは、Grok-2およびGrok-2 miniのベータ版リリースを発表しました。これは、チャット、コーディング、および推論能力においてGrok-1.5からの大幅な進歩を意味します。これらのモデルは現在、— PremiumおよびPremium+ユーザーが利用可能であり、2024年8月後半にエンタープライズAPI経由でリリースされる予定です。

フロンティア級の性能とベンチマーク

Grok-2は、複数の学術的ベンチマークにおいて最先端の性能を示しており、他のフロンティアモデルと直接競合しています。

LMSYS Chatbot Arenaで「sus-column-r」という名前でテストされたGrok-2の初期バージョンは、総合EloスコアにおいてClaude 3.5 SonnetとGPT-4 Turboの両方を上回りました。AI Tutorsによる内部評価では、指示への追従性と事実の正確性に焦点が当てられ、ツール使用や、検索されたコンテンツを用いた推論（特に不足している情報の特定や無関係な投稿の破棄）において大幅な改善が見られました。

技術的ベンチマーク結果

Grok-2とGrok-2 miniは、推論、数学、科学、およびコーディングにおいてGrok-1.5に対して大幅な向上を示しています。

Benchmark	Grok-1.5	Grok-2 mini	Grok-2	GPT-4 Turbo	Claude 3 Opus	Gemini Pro 1.5	Llama 3 405B	GPT-4o	Claude 3.5 Sonnet
GPQA	35.9%	51.0%	56.0%	48.0%	50.4%	46.2%	51.1%	53.6%	59.6%
MMLU	81.3%	86.2%	87.5%	86.5%	85.7%	85.9%	88.6%	88.7%	88.3%
MMLU-Pro	51.0%	72.0%	75.5%	63.7%	68.5%	73.3%	72.6%	76.1%
MATH	50.6%	73.0%	76.1%	72.6%	60.1%	67.7%	73.8%	76.6%	71.1%
HumanEval	74.1%	85.7%	88.4%	87.1%	84.9%	71.9%	89.0%	90.2%	92.0%
MMMU	53.6%	63.2%	66.1%	63.1%	59.4%	62.2%	64.5%	69.1%	68.3%
MathVista	52.8%	68.1%	69.0%	58.1%	50.5%	63.9%	—	63.8%	67.7%
DocVQA	85.6%	93.2%	93.6%	87.2%	89.3%	93.1%	92.2%	92.8%	95.2%

Note: Grok-2 MMLU, MMLU-Pro, MMMU, and MathVista were evaluated using 0-shot CoT; MATH results are maj@1; HumanEval results are pass@1.

ビジョンとマルチモーダル機能

Grok-2は、ビジョンベースのタスク、特に視覚的な数学的推論や文書ベースの質問回答において優れています。

ベンチマークデータによると、Grok-2はMathVistaで69.0%、DocVQAで93.6%を達成し、これらの分野で最先端の性能を提供します。xAIはまた、— のGrok体験の核となる部分としてマルチモーダル理解のプレビューを発表しており、APIもまもなくリリースされる予定です。

統合と利用可能性

Grok-2とGrok-2 miniは、再設計されたインターフェースと新しい機能セットを備えた — プラットフォームに統合されています。

— PremiumおよびPremium+ユーザーは、— アプリ内のGrokタブからこれらのモデルにアクセスできます。Grok-2は、テキストとビジョン理解のための最先端のアシスタントとして機能し、Grok-2 miniは、速度と品質のバランスを提供します。さらに、xAIはプラットフォーム上でのGrokの機能を拡張するために、Black Forest LabsのFLUX.1モデルを実験的に導入しています。

エンタープライズAPIプラットフォーム

開発者は、2024年8月後半に新しいエンタープライズAPIプラットフォームを通じてGrok-2およびGrok-2 miniにアクセスできるようになります。APIインフラストラクチャには以下が含まれます：

Multi-region inference deployments（低遅延のグローバルアクセスを実現するためのマルチリージョン推論デプロイメント）
Enhanced security（多要素認証（Yubikey, Apple TouchID, または TOTP）を含む強化されたセキュリティ）
Management tools（チーム、ユーザー、および請求管理を社内サービスに統合するための管理API、ならびに豊富なトラフィック統計と請求分析ツールを含む管理ツール）