DataTalksClub/data-engineering-zoomcamp

概要

DataTalks.Club による無料のオープンソースコース。9 週間で、業界標準のツールを使ってエンドツーエンドのデータパイプラインを構築します。すべてのビデオ、教材、宿題は無料です。

対象者

データパイプラインと最新のデータエンジニアリングスタックを学びたい開発者、アナリスト、データサイエンティスト。データエンジニアリングの経験は不要 — 基本的なコーディング、ある程度の SQL の知識、そして（役立つが必須ではない）Python だけです。

仕組み

2 つの受講方法：

• ライブコホート（2027 年 1 月開始）：録画済みの講義ですが、他の学習者と一緒に進めます — 締め切り、採点付き宿題、リーダーボード、ピアレビュー、修了証明書。コースプラットフォームで登録。
• 自己ペース：いつでも開始、すべての教材は GitHub にあります。宿題は利用可能ですが採点されず、証明書もありません。それでも無料です。

⚠️ 「ライブ」はライブクラスを意味しません。両方のオプションで、すべての講義は録画済みです。「ライブ」はコホート構造（締め切り、採点、ピア、証明書）のみを意味します。

シラバス（7 モジュール + ワークショップ + 最終プロジェクト）

モジュール	焦点	教えるツール
1	コンテナ化と Infrastructure as Code	Docker、Docker Compose、PostgreSQL、Terraform、Google Cloud Platform
2	ワークフローオーケストレーション	データレイク、Kestra
ワークショップ 1	データ取り込み	API 読み取り、データ正規化、増分ロード
3	データウェアハウジング	BigQuery、パーティショニング、クラスタリング、BigQuery での ML
4	アナリティクスエンジニアリング	dbt（データビルドツール）と DuckDB と BigQuery、テスト、ドキュメント
5	データプラットフォーム	Bruin（エンドツーエンドパイプライン）、BigQuery へのデプロイ
6	バッチ処理	Apache Spark、DataFrames、SQL、GroupBy と Joins の内部
7	ストリーミング	Kafka、Kafka Streams、KSQL、Avro スキーマ管理

最終プロジェクト は、学んだすべてを実際のシナリオに適用し、ピアレビューとフィードバックが含まれます。

証明書

ライブコホート中に最終プロジェクトとピアレビューを完了した学習者のみに授与されます。自己ペースの学習者には授与されません。

講師（現在）

Alexey Grigorev、Michael Shoemaker、Will Russell、Anna Geller、Juan Manuel Perafan、Arsalan Noorafkan — および過去の講師のリスト。

コミュニティとサポート

• Slack：DataTalks.Club Slack の #course-data-engineering チャンネルに参加して、ディスカッション、トラブルシューティング、ネットワーキング。
• Telegram：お知らせ。
• YouTube：講義プレイリスト。
• 質問の仕方と公開学習のガイドラインが提供されています。

スポンサー

Kestra、Bruin、dlthub — コースを可能にするために協力しています。

受講者の声

多くの学習者が、このコースが初めてのテックジョブを得るのに役立ったと報告し、「難しいが価値がある」と述べ、流行のツールよりも基礎に焦点を当てていることを賞賛しています。

運営組織

DataTalks.Club — データ愛好家のためのグローバルなオンラインコミュニティ。このコースに加えて、イベント、コミュニティ活動、他の無料コースを運営しています。

---

結論： 無料で実践的、構造化されたデータエンジニアリング入門。締め切り、コミュニティのプレッシャー、証明書のためにライブコホートを受講するか、自己ペースで自分の速度で教材を学ぶだけでも構いません。