DuckDB 数据分析完全指南：千万行订单聚合，DuckDB 与 SQLite 差多远

DuckDB 数据分析完全指南千万行订单聚合DuckDB 与 SQLite 差多远【免费下载链接】duckdbDuckDB is an analytical in-process SQL database management system项目地址: https://gitcode.com/GitHub_Trending/du/duckdb3 万行订单表只想算一下月度环比Excel 已经开始卡拉一套 Spark 又显得太重。 这类数据不大、但算得重的工作负载正是DuckDB 数据分析的主场。 DuckDB 是一个嵌入式分析数据库它直接运行在你的进程里没有独立服务、没有部署、数据就在代码旁边面向数据分析师、ETL 开发者和写 Python/R 算数的人。从一个真实任务开始一条查询算出月度环比先不聊原理直接干活拿到orders表1000 万行订单要算每个月的营收和环比增长率。DuckDB 不需要先建库、再导入、再查询这套流程。CSV、Parquet 都是 SQL 函数文件本身就是表-- 月度营收 环比窗口函数一行搞定 SELECT month, revenue, ROUND((revenue - LAG(revenue) OVER (ORDER BY month)) * 100.0 / LAG(revenue) OVER (ORDER BY month), 2) AS mom_pct FROM ( SELECT strftime(order_date, %Y-%m) AS month, SUM(amount) AS revenue FROM read_csv_auto(orders.csv) -- 自动推断列类型 GROUP BY 1 );这条查询跑得快靠的是两处设计一句话各解释一下列式存储同一列的数据连续存放算SUM(amount)只读 amount 这一列其他列碰都不用碰。列的压缩与布局逻辑见 src/storage/。向量化执行不把数据一行行过而是一次抓一个批次默认 2048 行喂给 CPU缓存命中率高批量计算自然快。执行引擎在 src/execution/。如果数据已经是 Parquet列式压缩格式数仓里最常见连 CSV 都省了直接查文件-- 直接查 Parquet自动推断 schema列裁剪 谓词下推 SELECT product_category, SUM(revenue) AS total FROM sales_data.parquet GROUP BY product_category ORDER BY total DESC;这部分由 extension/parquet/ 扩展实现只解压你 SELECT 的列、只读取 WHERE 命中的行组。速度差有多直观仓库自带完整基准用例benchmark/其中在 1 亿行数据集上做聚合DuckDB 相对 SQLite 领先约 1 个数量级8 到 15 倍。聚合类查询越大越拉开这正是分析负载的常态。DuckDB 与 SQLite 区别一分钟选型表两者都是进程内、零部署的嵌入式数据库但设计目标不同SQLite 是 OLTP高频小事务写DuckDB 是 OLAP大批量扫描和聚合。对照下面这张表选工作负载特征SQLiteDuckDB百万行以上聚合 / 统计慢逐行处理快向量化批量处理窗口函数、CTE 等高级 SQL支持有限完整支持读 Parquet / CSV需第三方扩展内置函数零配置高频小事务写ACID强项非设计目标移动端 / 极小文件体积场景轻量体积偏大 选DuckDB的场景本地数据探索、Jupyter 里的即席分析几十 GB 以内的 ETL、清洗、格式转换给 pandas/Arrow 管道加一层 SQL 加速直接查 Parquet/CSV 文件目录不落库 留在SQLite的场景移动应用本地存储键值读写、高频小事务对数据库文件大小有硬性限制一句话DuckDB 不是 SQLite 的替代者是补上了本地也能做正经分析这块空白。5 分钟跑通第一条分析查询安装、查询、接 Python 安装只需一行pip install duckdb # 需要命令行客户端的从官方 release 下载 shell 二进制命令行客户端源码在 tools/shell/装好后直接输入 SQL 就能跑体验类似psql但零配置。 Python 集成是 DuckDB 最顺手的一环DataFrame 可以注册成虚拟表SQL 直接在它上面执行结果再取回 DataFrame数据不需要拷来拷去import duckdb import pandas as pd df pd.DataFrame({user_id: [1, 2, 3, 4], amount: [199, 399, 299, 499]}) con duckdb.connect() con.register(orders, df) # DataFrame 变虚拟表 result con.execute( SELECT user_id, SUM(amount) OVER (ORDER BY user_id) AS cum FROM orders ).fetchdf() print(result)从pip install到第一条聚合查询出结果正常情况下不超过五分钟。DuckDB 的定位可以浓缩成一句把分析型数据库搬进你的进程让在本地把数据算明白不再依赖服务器。 下一步动作很简单——找出你手头最大的那个 CSV 或 Parquet 文件问 DuckDB 一个问题上个月环比是多少答案出来的那一刻你大概就知道它该不该进你的工具链了。【免费下载链接】duckdbDuckDB is an analytical in-process SQL database management system项目地址: https://gitcode.com/GitHub_Trending/du/duckdb创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考