datascale-ai/data_engineering_book

解决的问题

在大型语言模型（LLM）时代，数据质量是制约模型性能的主要因素。目前大多数团队缺乏系统化的数据管理方法，往往依赖于反复试验。本书提供了一个全面的技术框架来弥补这一差距，涵盖了从原始数据收集到生产部署的整个数据工程生命周期。

工作原理

本书分为十四个部分和48个章节，既提供理论基础，也提供实践实现。内容涵盖了清洗预训练数据、构建指令微调和偏好数据集、构建RAG流水线以及管理DataOps等关键流程。书中包含15个端到端的项目案例研究，提供可运行的代码、架构设计和工程评审，帮助读者将这些方法应用于实际场景。

目标读者

本资源专为LLM研究工程师、数据工程师、MLOps/DataOps专业人员、技术AI产品经理以及有兴趣为大模型构建稳健数据流水线的研究人员而设计。

亮点

• 全面覆盖数据生命周期：预训练、微调、RLHF、RAG和DataOps。
• 集成现代技术栈，包括 Ray, Spark, Dask, DVC 以及各种向量数据库。
• 15个实践项目，涵盖从 Mini-C4 预训练数据集到 Agent 工具使用和隐私保护流水线。
• 聚焦以数据为中心的AI（Data-Centric AI）原则，包括数据质量评估、多模态对齐和隐私合规。
• 开源文档提供中文、英文和日文版本，支持通过 MkDocs 进行本地预览。