AI-Hypercomputer/maxtext

解决的问题

MaxText 旨在为训练大型语言模型（LLM）提供高性能、可扩展的参考实现。它解决了在从单主机扩展到非常大的 TPU 和 GPU 集群时，实现高模型 FLOPs 利用率（MFU）和吞吐量（每秒 token 数）的挑战，同时保持实现简单且基本“无需优化”。

工作原理

MaxText 使用纯 Python 和 JAX 编写，利用 XLA 编译器优化性能。它与一系列 JAX AI 库集成，包括 Flax（神经网络）、Tunix（训练后）、Orbax（检查点）、Optax（优化）和 Grain（数据加载）。它支持从头预训练和使用监督微调（SFT）以及强化学习（RL）方法（如组相对策略优化（GRPO）和组序列策略优化（GSPO））进行可扩展的训练后。

适用对象

它面向在研究和生产环境中构建雄心勃勃的 LLM 项目的研究人员和开发者，他们需要一个可扩展的框架来预训练或训练后流行的开源模型。

亮点

• 广泛的模型支持：支持多种模型，包括 Gemma、Llama、DeepSeek、Qwen 和 Mistral，涵盖密集和混合专家（MoE）架构。
• 高可扩展性：能够在数万块芯片上进行预训练。
• 多模态能力：支持 Gemma 3、Gemma 4 和 Llama 4 VLM 的多模态训练。
• 多样化的训练技术：提供 SFT 和 RL（GRPO、GSPO）的实现，并包含多 token 预测（MTP）和 Streaming DiLoCo 等高级功能，用于分布式低通信训练。
• 硬件目标：专门针对 Google Cloud TPU 和 GPU 进行了优化。