📌 项目地址：DataTalksClub/data-engineering-zoomcamp | ⭐ 41,572 颗星 | 🔧 Jupyter Notebook | 📜 未标注
这课不教语法，教你怎么把一堆工具串成流水线
DataTalksClub/data-engineering-zoomcamp 在 GitHub 上拿了 41,572 颗星。星多不一定代表课程质量好，但这个项目的 star 背后是大量学完并拿到工作的真实案例。课程完全免费，9周，目标是让你从零搭一条端到端的数据管道。它不是 Docker、Terraform、Kestra、dbt、Spark、Kafka 的单个教程合集，而是按工程项目推进节奏设计的——每个模块解决一个具体阶段的问题，工具在需要的时候出现。
课程有固定班期和自修两种方式。2026 年班 1 月 12 日开课，报名入口在 Airtable（链接）。自修的话，所有视频、代码、作业都在仓库里，随时可以开始。
学习路径：跟班或自修，材料都是同一套
跟 2026 正式班
完全免费，从 1 月 12 日起每周有作业和 deadline。Slack 的 #course-data-engineering 频道有同期同学讨论，遇到问题可以实时问。我需要提醒一点：如果你自律性一般，跟着固定节奏比自修更容易坚持到 final project。
自修
按 README 里的三步走：
我按模块1试过一次，跟着视频和 README 在本机用 Docker 跑了 PostgreSQL，再用 Terraform 配了 GCP 的 bucket，没卡壳。材料写得清楚，步骤完整。
模块拆解：每个阶段解决什么问题
课程包含 7 个模块、1 个 workshop 和 1 个 final project。顺序就是实际项目里执行的步骤。
模块1：容器化和基础设施即代码
文件夹 01-docker-terraform/。用 Docker 和 Docker Compose 跑 PostgreSQL，再用 Terraform 把 GCP 的云资源（存储、网络）以声明式配好。这里的关键不是让你学会写 Dockerfile，而是理解“环境标准化”这件事——后续所有任务都跑在统一容器里，避免“在我机器上能跑”的麻烦。
模块2：工作流编排
文件夹 02-workflow-orchestration/。数据管道里的任务有依赖关系、需要定时执行。Kestra 负责调度。学完这个，你就能把模块1搭好的环境中跑的数据处理任务串成自动化 pipeline。
Workshop 1：数据摄入
文件在 cohorts/2026/workshops/dlt.md。重点解决“数据怎么进来”。讲 API 读取、数据规范化、增量加载，用的库是 dlt。这个 workshop 放在模块2之后、模块3之前，是因为你必须先能安排任务，才能把数据摄入也纳入工作流。
模块3：数据仓库
文件夹 03-data-warehouse/。以 BigQuery 为主，讲分区、聚簇这些让查询更快更省钱的技巧。还带了点 BigQuery ML。不是只教 SELECT，而是教你怎么设计仓库结构来支撑后续分析。
模块4：分析工程
文件夹 04-analytics-engineering/。用 dbt 配合 DuckDB & BigQuery 做数据建模、测试、文档化、部署。特别值得提的是，课程花了篇幅讲测试和文档——生产项目里这两个环节常被忽略，但缺了它们，别人不敢用你产出的表。
模块5：数据平台
文件夹 05-data-platforms/。引入 Bruin，把数据摄入、转换、质量检查组装成一条端到端流水线，部署到 BigQuery。这是模块4的实战延伸——你看到 dbt 的测试和文档怎么在真实平台上跑起来。
模块6：批处理
文件夹 06-batch/。Apache Spark 登场。讲 DataFrame、SQL，以及 GroupBy 和 Join 的内部机制。不是只教 API 调用，而是讲清楚 Spark 在底层怎么切分数据、怎么 shuffle——这对调优有帮助。
模块7：流处理
文件夹 07-streaming/。Kafka 入门，加上 Kafka Streams、KSQL，以及 Avro 做 schema 管理。实时数据也纳入管道，你得到的数据工程能力不只在批处理。
最终项目
文件夹 projects/。花两周时间，用前面学到的所有概念处理一个真实场景，完成后提交并通过同行评审。这是课程最有价值的产出——demo 可以直接放进简历。
前置条件与真实收益
课程要求：有基本编程经验、熟悉 SQL、有 Python 经验更好但不是必须。不需要你有数据工程背景。
README 里引用了一位学员 Tim Claytor 的反馈：“这个课程给我的技能帮我拿到了第一份技术工作。”链接指向他的 LinkedIn 帖子（源链接）。这不是广告，是真实案例。
9周后你得到的是：一个自己从零搭起来的生产级数据管道，从基础设施、数据流入、加工处理到输出分析结果，全链路走通。这套经验可以直接贴在简历上，而且你理解了各个工具之间的衔接逻辑——不是碎片知识，是一套能搬进公司的方法。
如果你对数据工程感兴趣，想系统入门，这是我目前见过最实在的免费资源。