jax-ml/scaling-book

它解决了什么问题

本书揭秘了在 TPU 硬件上扩展大型语言模型（LLM）的复杂过程。它解决了理解 LLM 如何大规模运行以及如何选择有效的并行策略以防止训练和推理过程中出现通信瓶颈的挑战。

它是如何工作的

它提供了一份全面的教育资源，解释了 TPU 的基本机制以及分布式模型训练的架构考虑。该仓库还包含实用脚本，可将本书内容转换为单个标准化的 Markdown 文件或 Word 文档，以便离线阅读。

适用人群

本资源面向使用 JAX 和 TPU 的研究人员、工程师和开发者，他们需要了解扩展 LLM 工作负载的技术细节。

亮点

• 解释 TPU 架构和操作。
• 指导用户选择并行方案以优化性能。
• 提供工具生成单文件版本书籍，便于携带。
• 由 Google DeepMind 的专家撰写。