stas00/ml-engineering

它是什么

一本开放、免费的实用知识合集，用于训练和微调大型语言模型（LLM）和多模态模型，以及运行它们的推理。它被编写为“开放书籍”——一个托管在 GitHub 上的活文档，同时提供可下载的电子书版本（PDF 和 EPUB）。

适合谁

面向训练或运行大型 AI 模型的工程师和运维人员。内容技术性强且注重实践，包含大量可直接使用的脚本和复制粘贴命令。

作者背景

作者 Stas Bekman 根据真实经验编写了本书，这些经验来自训练开源 BLOOM-176B 模型（2022 年）、IDEFICS-80B 多模态模型（2023 年）以及 Contextual.AI 的 RAG 模型（2024 年）。

内容简介

内容分为七个部分：

1. 洞察 — 高层指导，例如如何选择云提供商，以及如何判断升级 GPU 是否值得。
2. 硬件 — 计算加速器、CPU、存储和网络。
3. 编排 — 管理容器和资源，包括 SLURM。
4. 训练 — 模型训练指南。
5. 推理 — 模型推理洞察。
6. 开发 — 调试和测试技巧。
7. 其他 — 资源和 LLM/VLM 编年史。

包含的关键工具

几个可直接使用的脚本：

• torch-dist-bench.py — 一种更简单的网络吞吐量基准测试方法。
• torch-distributed-gpu-test.py — 快速测试节点间连接。
• mamf-finder.py — 测量从加速器能获得的实际计算速度（TFLOPS）。

额外内容

• SKILL.md 文件 — 两个文件，教 AI 代理如何进行 ML 工程以及如何评估 GPU 集群。
• 课程 — “训练 LLM 的经验教训”，通过简洁的洞察以不同方式阅读本书。
• 录制讲座 — 关于构建韧性 ML 工程技能的讲座。
• 社区讨论 — 分享经验的论坛。
• 对比表格 — 加速器速度和内存，以及网络速度。

格式

可作为 GitHub 仓库获取，也可下载托管在 HuggingFace 上的 PDF 和 EPUB 电子书版本。

许可证

根据 Attribution-ShareAlike 4.0 International (CC-BY-SA) 分发。

相关作品

同一作者的两本配套开放书籍：The Art of Debugging 和 Stas' Python Cookbook。