DataWarehouse指南：数据库vs数据仓库、OLTP与OLAP深度辨析——为什么业务系统扛不住分析查询？

DataWarehouse指南数据库vs数据仓库、OLTP与OLAP深度辨析——为什么业务系统扛不住分析查询【免费下载链接】DataWarehouse从数据仓库到用户画像从数据建设到数据应用项目地址: https://gitcode.com/gh_mirrors/da/DataWarehouse你是否遇到过一跑报表生产库就卡住的场景本文基于开源项目DataWarehouse从数据仓库到用户画像从数据建设到数据应用深度辨析数据库 vs 数据仓库与OLTP vs OLAP的核心区别并讲清楚为什么业务系统扛不住分析查询以及如何把它们正确地分流到数据仓库。先搞懂三个概念数据库软件、数据库、数据仓库 在辨析区别之前先分清三个容易混淆的概念数据库软件一套看得见、可操作的软件系统如 MySQL、Oracle、Redis 等数据库存放数据的逻辑仓库由许多二维表组成。业务数据库的表结构是针对某个具体应用设计的订单库、用户库、库存库……数据仓库数据库概念的升级。表结构依照分析需求、分析维度、分析指标设计主要用于数据挖掘与分析辅助管理决策。一句话总结一个数据库装不下一家公司的所有数据要做跨系统的分析就得重新设计表结构——这正是数据仓库存在的意义。更多细节见数据库和数据仓库的区别。OLTP vs OLAP事务处理与分析处理一张表看懂 数据库与数据仓库的区别本质上讲的就是OLTP与OLAP的区别OLTP联机事务处理针对具体业务的联机日常操作通常对少数记录进行查询、修改OLAP联机分析处理针对某些主题的历史数据进行分析支持管理决策。对比维度OLTP面向事务OLAP面向分析数据粒度细节的综合的数据模型实体-关系三范式星型模型、雪花模型数据范围存取瞬间数据存储历史数据操作方式可更新只读、追加操作单位一次操作一条记录一次操作一个集合性能预期响应性能要求高性能要求宽松数据量相对小很大核心目的支持日常操作支持决策需求为什么业务系统扛不住分析查询⚡业务数据库是为事务而极致优化的索引、三范式、分库分表都是为了点查快、并发高。但 OLAP 类查询的典型特征恰恰相反聚合算子SUM、COUNT、GROUP BY需要扫描海量数据行多表 Join关联结果集可能放大数十倍查询条件不命中索引常常触发全表扫描。这些操作非常耗计算资源通常是 CPU-bound 而非 IO-bound叠加更大的数据量一条分析查询就可能拖垮整个库。而 OLTP 系统对响应时间和并发极其敏感——一条慢的分析 SQL足以阻塞正常的业务事务。结论OLTP 与 OLAP 必须分离。分析查询不应跑在业务系统里而应该通过 ETL 抽取到数据仓库中完成。典型的数据流转如下图所示典型数据仓库架构从业务数据库到 OLAP 服务 ️如上图数据分三步流动数据源 → 数据仓库 → 数据应用中间靠 ETL 分层完成加工ODS 层原始数据层尽量原样保留业务数据库与日志数据DWD 层明细数据层对 ODS 数据做清洗、标准化DM 层数据集市层直接服务于 BI 报表与 OLAP 数据服务。如果有实时性要求经典做法是Lambda 架构——批处理与流计算双通道并行基于统一的数据模型返回结果随着数据源日趋多样数据仓库进一步演进为数据湖——把关系数据库RDBMS、NoSQL 与文件系统统一接入到集中存储与计算引擎中而项目的演进终点之一是从数仓走向数据中台中台为业务提供查询、导出、数据资产等公共数据服务连接底层资源与上游应用。架构分层如下详见数据中台OLAP 引擎速览MOLAP、ROLAP、HOLAP 数仓建好后分析查询交给什么引擎跑按建模方式主要分三类类型原理代表引擎特点MOLAP预计算数据立方体Kylin、Druid亚秒级响应但灵活性弱维度一多存储易爆炸ROLAP直接在星型/雪花模型上实时计算Presto、Impala、ClickHouse灵活易用、无需预处理响应时间从秒到分钟不等HOLAP预计算 实时计算混合暂无开源系统两者优势互补是未来方向Apache Kylin 是典型的 MOLAP 引擎对数据集定义星型或雪花模型、构建 Cube即可用标准 SQL 在超大数据集上实现亚秒级查询各类型 OLAP 引擎的详细优缺点与适用场景可阅读OLAP引擎分类。学习路径用 DataWarehouse 继续深入 本项目系统梳理了从数仓建设到用户画像的完整知识体系核心资料包括数仓定义面向主题、集成、持久、反映历史变化四大特征从零开始搭建数据仓库数仓建设实战教程数据库和数据仓库, OLTP和OLAP本文对比的详细出处实时数仓、数据湖、商务智能——BI架构演进与应用SQL规范、数据倾斜调优/SQL调优慢 SQL 分析与 Shuffle 调优也可以克隆仓库到本地阅读git clone https://gitcode.com/gh_mirrors/da/DataWarehouse【免费下载链接】DataWarehouse从数据仓库到用户画像从数据建设到数据应用项目地址: https://gitcode.com/gh_mirrors/da/DataWarehouse创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考