xAI Grok-1 開源釋出

xAI 已釋出 Grok-1 的基礎模型權重與網路架構，這是一個擁有 3140 億個參數的混合專家模型 (MoE)。此次釋出提供的是預訓練階段的原始基礎模型檢查點 (checkpoint)，讓開發者與研究人員可以在 Apache 2.0 授權條款下，基於該模型的基礎能力進行開發。

Grok-1 模型架構與規模

Grok-1 是一個大規模的混合專家模型，擁有 3140 億個參數。為了在推論時優化計算效率，該模型的設計使得在處理任何給定 token 時，僅有 25% 的權重是處於啟動狀態的。

訓練規格與時程

xAI 使用基於 JAX 與 Rust 構建的自定義訓練堆疊 (stack) 進行了 Grok-1 的從零開始的訓練。此特定檢查點的預訓練階段已於 2023 年 10 月結束。

模型狀態與授權

由於這是一個原始的基礎模型檢查點，Grok-1 並未針對特定應用（例如對話或指令遵循）進行微調 (fine-tuning)。它代表了模型在大量文本數據進行預訓練之後的基礎狀態。權重與架構是以 Apache 2.0 授權條款釋出，允許廣泛的使用與修改。

實作與存取方式

部署與使用 Grok-1 模型的技術指令，可透過官方 xAI GitHub 儲存庫於 github.com/xai-org/grok 取得。