如何系统学习数据工程：来自 data-engineer-handbook 的 20 个精选学习资源

如何系统学习数据工程来自 contenteditable="false">【免费下载链接】data-engineer-handbookThis is a repo with links to everything youd ever want to learn about data engineering项目地址: https://gitcode.com/GitHub_Trending/da/data-engineer-handbook数据工程的学习资料散落在视频、书籍、博客和社区里新手很容易陷入收藏了一堆却不知从何入手的困境。本文基于开源项目 />这张白板图梳理了维度建模的核心概念适合配合实验材料阅读维度数据建模核心概念白板笔记从批处理到实时补齐分析套路事实表建模材料在维度表基础上学习日期清单表、月累计表与用户累计表解决怎么算留存与累计指标Spark 基础材料含 PySpark 作业、单元测试与 Iceberg 桶连接实验适合把 SQL 思维迁移到分布式计算Apache Flink 训练搭建 Flink 流处理任务覆盖事件实时聚合这一批处理无法解决的场景分析模式应用材料留存、漏斗、增长归因与分组集查询的 SQL 模板面试与业务分析都会直接用到KPI 与实验材料学习如何设计北极星指标与 A/B 实验让数据管道直接服务业务决策深入进阶让管道稳定运行跟上 AI 数据工程管道维护与数据质量管道维护材料附带管道维护教材与真实增长管道 Runbook教你处理失败重试、数据回刷等线上场景数据影响分析材料练习把指标变化归因到上游数据事件区分业务真的变了还是数据管道出了问题这张白板图解释幂等设计与 SCD 的关系是维护可重复运行管道的关键概念AI 应用、面试与持续学习Databricks AI 训练营3 天从 Lakebase 应用到向量检索再到 Agent 端到端 AI 应用是传统数据工程技能向 AI 方向延伸的完整起点Day 1Lakebase 简易应用在 Databricks 免费版上构建第一个由 Lakebase 支撑的小应用零成本动手面试指南按数据算法、SQL、数据建模、数据架构四轮拆解备考资源与思路实战项目清单从端到端 BigQuery 项目到 LLM 管道等练手项目弥补只学不做的空白社区清单Discord、Slack 与 Reddit 社区索引卡住时比搜索引擎更快得到真实从业者回答Newsletter 清单20 邮件通讯订阅源用通勤时间持续追踪湖仓、dbt 与云平台的行业动态30 天快速上手第 17 天按 新手软件清单 装好 Docker 与 Python跑通 维度建模实验环境并完成它的作业。第 821 天依次完成事实表建模与分析模式两个模块把留存、漏斗两类查询亲手写一遍。第 2230 天用 Flink 训练 或 Spark 材料 选一个方向动手同时打开 communities.md 加入一个社区提问。第一步很明确打开终端把仓库克隆到本地git clone https://gitcode.com/GitHub_Trending/da/data-engineer-handbook从第一模块的 Makefile 跑起来——能跑通环境就超过了半数还在收藏资料的学习者。【免费下载链接】data-engineer-handbookThis is a repo with links to everything youd ever want to learn about data engineering项目地址: https://gitcode.com/GitHub_Trending/da/data-engineer-handbook创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考