xAI Grok-1 オープンリリース

xAIは、3140億パラメータを持つMixture-of-Experts (MoE) モデルであるGrok-1のベースモデルの重みとネットワークアーキテクチャを公開しました。このリリースでは、事前学習フェーズからの生のベースモデルチェックポイントが提供され、開発者や研究者がApache 2.0ライセンスの下でモデルの基礎的な能力を活用して構築することを可能にします。

Grok-1 モデルのアーキテクチャと規模

Grok-1は、3140億のパラメータを特徴とする大規模なMixture-of-Expertsモデルです。推論時の計算効率を最適化するために、モデルは任意のトークンに対して重みの25%のみがアクティブになるように設計されています。

学習仕様とタイムライン

xAIは、JAXとRust上に構築されたカスタム学習スタックを使用して、Grok-1をゼロから学習させました。この特定のチェックポイントの事前学習フェーズは2023年10月に終了しました。

モデルの状態とライセンス

これは生のベースモデルチェックポイントであるため、Grok-1は対話や指示への追従といった特定のアプリケーション向けに微調整されていません。これは、大量のテキストデータで事前学習を行った後のモデルの基礎的な状態を表しています。重みとアーキテクチャはApache 2.0ライセンスの下で公開されており、広範な使用と修正が可能です。

実装とアクセス

Grok-1モデルをデプロイして使用するための技術的な指示は、公式のxAI GitHubリポジトリ github.com/xai-org/grok で入手可能です。