DataTalksClub/data-engineering-zoomcamp

개요

DataTalks.Club의 무료 오픈소스 과정입니다. 9주 동안 업계 표준 도구를 사용하여 엔드투엔드 데이터 파이프라인을 구축합니다. 모든 비디오, 자료, 숙제는 무료입니다.

대상

데이터 파이프라인과 현대 데이터 엔지니어링 스택을 배우고 싶은 개발자, 분석가, 데이터 과학자. 데이터 엔지니어링 경험 불필요 — 기본 코딩, 약간의 SQL 친숙함, 그리고 (도움이 되지만 필수는 아닌) Python만 있으면 됩니다.

작동 방식

두 가지 수강 방법:

• 라이브 코호트 (2027년 1월 시작): 사전 녹화된 강의이지만 다른 학습자와 함께 진행합니다 — 마감일, 채점 숙제, 리더보드, 동료 평가, 수료 증명서. 과정 플랫폼에서 등록하세요.
• 자기 주도: 언제든 시작, 모든 자료는 GitHub에 있습니다. 숙제는 제공되지만 채점되지 않으며 증명서도 없습니다. 여전히 무료입니다.

⚠️ "라이브"는 실시간 수업을 의미하지 않습니다. 두 옵션 모두 모든 강의는 사전 녹화입니다. "라이브"는 코호트 구조(마감일, 채점, 동료, 증명서)만을 의미합니다.

교육 과정 (7개 모듈 + 워크숍 + 최종 프로젝트)

모듈	초점	가르치는 도구
1	컨테이너화 및 Infrastructure as Code	Docker, Docker Compose, PostgreSQL, Terraform, Google Cloud Platform
2	워크플로 오케스트레이션	데이터 레이크, Kestra
워크숍 1	데이터 수집	API 읽기, 데이터 정규화, 증분 로드
3	데이터 웨어하우징	BigQuery, 파티셔닝, 클러스터링, BigQuery의 ML
4	분석 엔지니어링	dbt(데이터 빌드 도구)와 DuckDB 및 BigQuery, 테스트, 문서화
5	데이터 플랫폼	Bruin(엔드투엔드 파이프라인), BigQuery 배포
6	배치 처리	Apache Spark, DataFrames, SQL, GroupBy 및 Joins 내부
7	스트리밍	Kafka, Kafka Streams, KSQL, Avro 스키마 관리

최종 프로젝트 는 배운 모든 것을 실제 시나리오에 적용하며, 동료 평가와 피드백이 포함됩니다.

증명서

라이브 코호트 기간 동안 최종 프로젝트와 동료 평가를 완료한 학습자에게만 수여됩니다. 자기 주도 학습자는 받을 수 없습니다.

강사 (현재)

Alexey Grigorev, Michael Shoemaker, Will Russell, Anna Geller, Juan Manuel Perafan, Arsalan Noorafkan — 그리고 과거 강사 목록.

커뮤니티 및 지원

• Slack: DataTalks.Club Slack의 #course-data-engineering 채널에 참여하여 토론, 문제 해결, 네트워킹.
• Telegram: 공지사항.
• YouTube: 강의 재생 목록.
• 질문하는 방법과 공개 학습에 대한 지침이 제공됩니다.

스폰서

Kestra, Bruin, dlthub — 과정을 가능하게 하는 데 도움을 줍니다.

수강생 후기

여러 학습자가 이 과정이 첫 기술 직업을 얻는 데 도움이 되었다고 보고하며, "어렵지만 가치 있다"고 말하고, 유행하는 도구보다 기본에 집중하는 것을 칭찬했습니다.

운영 조직

DataTalks.Club — 데이터 애호가를 위한 글로벌 온라인 커뮤니티. 이 과정 외에도 이벤트, 커뮤니티 활동, 다른 무료 과정을 운영합니다.

---

결론: 무료이고 실습 중심이며 구조화된 데이터 엔지니어링 입문서입니다. 마감일, 커뮤니티 압박, 증명서를 위해 라이브 코호트를 수강하거나, 자기 주도로 자신의 속도에 맞춰 자료를 배우세요.