DataTalksClub/data-engineering-zoomcamp

这是什么

DataTalks.Club 提供的免费开源课程。在 9 周内，你将使用行业标准工具构建端到端数据管道。所有视频、材料和作业均免费。

适合谁

希望学习数据管道和现代数据工程栈的开发人员、分析师和数据科学家。无需数据工程经验——只需基础编码、一些 SQL 熟悉度，以及（有帮助但非必需）Python。

运作方式

两种学习方式：

• 实时队列（2027 年 1 月开课）：预录讲座，但与其他学习者一起学习——截止日期、评分作业、排行榜、同行评审和完成证书。在课程平台注册。
• 自定进度：随时开始，所有材料在 GitHub 上。作业可用但不评分，无证书。仍然免费。

⚠️ “实时”并不意味着直播课程。两种选项中的所有讲座均为预录。“实时”仅指队列结构：截止日期、评分、同行、证书。

教学大纲（7 个模块 + 工作坊 + 最终项目）

模块	重点	教授工具
1	容器化与基础设施即代码	Docker、Docker Compose、PostgreSQL、Terraform、Google Cloud Platform
2	工作流编排	数据湖、Kestra
工作坊 1	数据摄取	API 读取、数据规范化、增量加载
3	数据仓库	BigQuery、分区、聚类、BigQuery 中的 ML
4	分析工程	dbt（数据构建工具）与 DuckDB 和 BigQuery、测试、文档
5	数据平台	Bruin（端到端管道）、部署到 BigQuery
6	批处理	Apache Spark、DataFrames、SQL、GroupBy 和 Joins 内部机制
7	流处理	Kafka、Kafka Streams、KSQL、Avro 模式管理

最终项目 将所学知识应用于真实场景，并包含同行评审和反馈。

证书

仅授予在实时队列期间完成最终项目和同行评审的学习者。自定进度学习者不获得证书。

讲师（当前）

Alexey Grigorev、Michael Shoemaker、Will Russell、Anna Geller、Juan Manuel Perafan、Arsalan Noorafkan——以及过往讲师列表。

社区与支持

• Slack：加入 DataTalks.Club Slack 上的 #course-data-engineering 频道，进行讨论、故障排除和社交。
• Telegram：公告。
• YouTube：讲座播放列表。
• 提供提问和公开学习的指南。

赞助商

Kestra、Bruin 和 dlthub——他们帮助课程成为可能。

学员反馈

一些学员表示课程帮助他们获得了第一份技术工作，称其“困难但值得”，并赞扬其注重基础而非流行工具。

背后的组织

DataTalks.Club——一个全球性的数据爱好者在线社区。除了本课程，他们还举办活动、社区活动和其他免费课程。

---

底线： 一个免费、动手实践、结构化的数据工程入门。选择实时队列以获得截止日期、社区压力和证书——或自定进度，按自己的节奏学习材料。