xAI Grok-1 开源发布

xAI 已发布 Grok-1 的基础模型权重和网络架构，这是一个拥有 3140 亿参数的混合专家 (MoE) 模型。此次发布提供了预训练阶段的原始基础模型检查点，允许开发者和研究人员在 Apache 2.0 许可下基于该模型的基础能力进行构建。

Grok-1 模型架构与规模

Grok-1 是一个大规模混合专家模型，拥有 3140 亿参数。为了优化推理过程中的计算效率，该模型的设计使得在处理任何给定 token 时，仅有 25% 的权重处于激活状态。

训练规范与时间线

xAI 使用基于 JAX 和 Rust 构建的定制训练栈从头开始训练了 Grok-1。该特定检查点的预训练阶段已于 2023 年 10 月结束。

模型状态与许可

由于这是一个原始基础模型检查点，Grok-1 尚未针对特定应用（如对话或指令遵循）进行微调。它代表了模型在海量文本数据上进行预训练后的基础状态。权重和架构是在 Apache 2.0 许可下发布的，允许广泛的使用和修改。

实现与访问

有关部署和使用 Grok-1 模型的技术说明，可通过 xAI 官方 GitHub 仓库获取：github.com/xai-org/grok。