Python数据分析与可视化源码包实践：环境搭建到图表输出全链路

简介面向数据分析与可视化入门及进阶人群压缩包内含一套贯穿Python编程、Pandas数据处理、Matplotlib/Seaborn绘图和pyecharts交互式可视化的完整学习资料覆盖从概念认识到实战应用的8个教学章节。内容按章节组织包括数据分析概述、Python基础、Pandas数据载入与预处理、统计分析以及多种可视化工具的案例讲解并配有教学大纲、进度表和大量可运行的notebook笔记适合自学、备课或作为实验参考。包体共162个文件约31MB主要有67个ipynb交互式笔记、11个PPTX课件、10个CSV数据集以及若干Excel、Word、图片和PDF文档数据集涵盖鸢尾花、葡萄酒、学生成绩等常用案例便于同步演练目录层级清晰课件负责理论讲解notebook用于上机实践。该资源已有18149人学习下载热度较高。通过逐章实操读者既能掌握数据框操作、缺失值处理等Pandas技巧也能利用Matplotlib、Seaborn和pyecharts绘制高质量统计图表及交互式Web图形最终形成完整的数据分析与可视化项目能力为后续数据科学学习打下坚实基础。1. Python 数据分析与可视化拿到源码包第一步不是读代码而是先跑通很多数据岗位的从业者下载了 python 数据分析与可视化源码包之后习惯性地打开 main.py 从头开始读读了两百行就卡在一堆函数调用里。我拆过不少这类项目血泪经验是先别管逻辑先把环境搭起来把数据送进去看到第一张图出来再回头读代码。这份资源的价值在于它把「数据加载 → 清洗 → 聚合 → 出图」整条链路用源代码串好了适合刚接触 pandas 和 Matplotlib 的新手做第一个完整练习也适合熟手快速拿到一套可改的模板省去从零搭架子的事。2. 拆解数据分析源码包结构先把文件地图画出来2.1 源码包目录结构每个文件夹的职责先对齐一份合格的 python 数据分析与可视化源代码包目录不会乱成一锅粥。我拿到压缩包第一件事是先解压然后看一眼顶层目录。常见做法是分成 data、src、notebooks、output 四块下面这份目录树是典型模板data_analysis_demo/ ├── data/ │ ├── raw/ # 原始数据只读不写 │ ├── processed/ # 清洗后的中间数据 │ └── orders_sample.csv ├── src/ │ ├── load_data.py # 负责读取原始数据 │ ├── clean_data.py # 缺失值、异常值、类型转换 │ ├── group_stats.py # 分组聚合统计逻辑 │ └── visualize.py # Matplotlib / Seaborn 绘图 ├── notebooks/ │ └── explore.ipynb # 探索式分析的草稿本 ├── output/ │ └── figures/ # 生成的图表统一输出到这里 └── requirements.txt # 依赖清单这个结构里最需要注意的是 data/raw 和 data/processed 的边界。raw 表示原始数据永远不要用代码去直接改写它清洗后的结果写进 processed这样即使某一步处理逻辑写错了重新跑一遍即可原始文件还在有后悔药可吃。src 目录按功能拆成四个模块模块之间只通过函数调用不在脚本里到处写 print 看中间结果。notebooks 目录我一般把它当草稿纸用验证某个字段怎么清洗、某个图怎么画合适验证通过后再把逻辑搬进 src 的正式脚本里。output/figures 的作用是让图表集中输出避免图片散落在各个目录里最后自己都找不到。如果你拿到的压缩包里没有 data 目录大概率是发布者出于体积考虑没附带数据文件。这时候优先去 README 里找数据下载地址或者生成脚本实在没有就自己造一份结构相同的小型数据集把流程跑通。源代码的价值在逻辑链路不在那份具体数据。2.2 环境与依赖五条命令把运行底座铺好数据分析源码跑不动的第一号原因就是依赖没装齐。我习惯先建独立虚拟环境不给系统 Python 添乱。技术上推荐 conda 建环境因为 pandas、numpy 这类数值库在 conda 里预编译的 wheel 和系统库匹配度更高翻车概率小。conda create -n data_analysis python3.10 -y conda activate data_analysis pip install -r requirements.txt python -c import pandas, numpy, matplotlib, seaborn; print(deps ok)requirements.txt 里常见的依赖大致是这几类pandas2.0 numpy matplotlib seaborn openpyxl按依赖清单装完环境后我强烈建议先跑最后一行验证命令而不是直接跑项目主脚本。这行命令 import 了四个核心库任何一个装失败都会立刻暴露。openpyxl 是很多新手容易漏掉的如果原始数据文件是 .xlsx 格式pandas 读取时需要它做底层引擎漏装会在 read_excel 这一步直接抛 ImportError。参数说明conda create 里 python3.10 是解释器版本数据分析项目锁定在 3.9 到 3.11 之间兼容性最稳妥-y 表示跳过确认提示。执行 pip install 时如果下载速度慢常见做法是临时指定镜像源命令尾加-i参数指向一个可用 PyPI 镜像即可不必写进全局配置免得以后换网络环境时被镜像配置拖累。3. 数据清洗与特征工程把脏数据捋成能画图的形状3.1 数据清洗主流程缺失值、异常值、类型转换三件事数据分析八成的精力花在清洗上这不是夸张。我见过太多人拿到数据直接df.plot()结果横轴日期变成了字符串画出来的折线图跟心电图一样乱跳。先看清洗脚本里最核心的一段逻辑import pandas as pd df pd.read_csv(./data/orders_sample.csv, encodingutf-8) # 1. 缺失值概览 miss df.isnull().sum() print(miss[miss 0])这一步先用isnull().sum()把每列缺失数量列出来不要急着一股脑全填掉。缺失值处理策略要分情况数值型的订单金额如果缺失填充中位数比填充均值更稳健分类型的省份字段缺失直接填一个「未知」字符串比删行划算。删除整行是最后手段因为那一行可能还有别的有价值字段。# 2. 填充策略连续值用中位数类别值用占位符 amount_median df[order_amount].median() df[order_amount] df[order_amount].fillna(amount_median) df[province] df[province].fillna(未知) # 3. 字符串转日期这个坑最隐蔽 df[order_date] pd.to_datetime(df[order_date], errorscoerce) # 4. 异常值过滤1.5 倍 IQR 之外视为异常 q1 df[order_amount].quantile(0.25) q3 df[order_amount].quantile(0.75) iqr q3 - q1 df df[(df[order_amount] q1 - 1.5 * iqr) (df[order_amount] q3 1.5 * iqr)]逻辑说明fillna不传inplaceTrue而是把结果重新赋值给原列这样便于链式操作时看清每步改动。pd.to_datetime里errorscoerce是关键参数遇到无法解析的脏数据时把它转成 NaT而不是直接抛出异常中断整个脚本——先保住流程能跑完回头再排查 NaT 的行。IQR 异常值过滤对订单金额这类长尾分布字段尤其好用比单纯看均值和标准差靠谱标准差会被极值拉高导致正常值被误杀。3.2 特征工程常用手段派生列、分组聚合与时间维度下钻清洗完只是把数据变干净特征工程才是让图表有分析价值的一步。某个电商订单分析场景里最值得做的三个动作是算客单价、按省份聚合、提取时间维度下钻到周。# 派生列客单价 订单金额 / 商品件数 df[unit_price] df[order_amount] / df[item_count] # 时间维度提取年份和星期几 df[year] df[order_date].dt.year df[weekday] df[order_date].dt.weekday # 分组聚合各省份的订单总量与均值 province_stats ( df.groupby(province, as_indexFalse) .agg(total_amount(order_amount, sum), avg_amount(order_amount, mean), order_count(order_id, count)) .sort_values(total_amount, ascendingFalse) )参数说明groupby(province, as_indexFalse)里的as_indexFalse很值得养成习惯它让省份字段保留为普通列而不是变成索引后面接 sort_values 或 merge 操作时不用 reset_index 再救一次。.agg里用命名聚合方式直接指定输出列名和对应的源列与聚合函数比整体.mean()一把梭灵活得多日后的图表标题可以直接引用这些列名。dt.weekday返回值 0 到 6对应周一到周日如果不想让图里出现 0、1 这种纯数字可以再加一层映射转换成「周一」这样的文本。这个阶段是整条流水线的分水岭数据能不能画得明白取决于聚合粒度选得对不对。按天聚合看短期波动按周聚合看趋势更平滑按月聚合看大季节规律。我一般会把这三个粒度的聚合结果都存进 processed 目录以province_daily.csv、province_weekly.csv这样的命名区分后续哪个图需要直接读对应文件不必每次都重跑全量清洗。4. 可视化出图Matplotlib 打底与 Seaborn 联动的参数套路4.1 基础图表参数从折线到柱状图的细节设置matplotlib 是底层画家Seaborn 是建立在它之上的快捷封装。很多新手直接在 matplotlib 里手搓一堆循环画分组图累且容易画崩。正确姿势是聚合好的数据交给 Seaborn细节样式交给 matplotlib两者通过ax对象联动。import matplotlib.pyplot as plt import seaborn as sns # 中文字体与负号显示这两行几乎每次都要设 plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei] plt.rcParams[axes.unicode_minus] False weekly pd.read_csv(./data/processed/weekly_stats.csv) weekly[week_start] pd.to_datetime(weekly[week_start]) fig, ax plt.subplots(figsize(12, 5)) ax.plot(weekly[week_start], weekly[total_amount], markero, linewidth2, markersize4) ax.set_title(全国周订单金额走势, fontsize14, pad15) ax.set_xlabel(日期) ax.set_ylabel(订单总额) ax.grid(axisy, linestyle--, alpha0.5) fig.autofmt_xdate(rotation30) plt.tight_layout() plt.savefig(./output/figures/weekly_trend.png, dpi150, bbox_inchestight)逻辑与参数说明plt.rcParams设置字体这两行我几乎每份代码都写前一行指定中文字体后一行解决负号显示成方框的毛病。figsize(12, 5)控制画布宽高比横向宽一点适合时间序列太方了折线会被压得很陡。fig.autofmt_xdate(rotation30)是处理时间轴刻度重叠的救场函数日期一旦多了刻度就会打架加这一行自动旋转 30 度立刻清爽。savefig里dpi150保证图放大不糊bbox_inchestight把四周空白裁掉这个参数在存柱状图时尤其关键不然图表左右总会多出大段留白。4.2 Seaborn 分组对比hue、palette 与复用 Matplotlib 画布Seaborn 最强的地方是分组对比一行代码就能把三个省份的周趋势画在三组不同颜色的线里。fig, ax plt.subplots(figsize(12, 6)) sns.lineplot( dataweekly_province, xweek_start, ytotal_amount, hueprovince, styleprovince, markersTrue, paletteSet2, axax ) ax.set_title(重点省份周订单金额对比, fontsize14, pad15) plt.tight_layout() plt.savefig(./output/figures/province_compare.png, dpi150)逻辑与参数说明hueprovince让 Seaborn 自动按省份拆分图形并按字段值生成图例当省份数量超过六个时paletteSet2这种离散色板会比默认色板更清晰。styleprovince这个参数很多人会漏它让不同省份的线条除了颜色之外还使用不同线型和标记这样图打印成灰度时依然能区分四类曲线。axax是关键的联动入口手动创建画布时如果不传这个参数Seaborn 会自己新建画布结果就是你木得感情的 savefig 只能存到一张空白图上。血泪经验任何混用 matplotlib 与 seaborn 的代码先确认每个绘图函数都接收了同一个 ax。到这里一张图的技术含量已经不再是「能画出来」而是「参数吃得透、样式控得住」。这个阶段如果你发现某根线看起来不对劲别急着改图回头查聚合步骤——图的问题九成是数据的问题。5. 避坑与常见问题排查跑数据分析源码最容易翻车的四个点5.1 图中文字和负号全部变成方框现象脚本不报错图也出来了但横轴纵轴的中文标签全是豆腐块一样的方框负号显示成一条横杠。原因matplotlib 默认字体不含中文同时默认字体对负号的处理方式会让它显示成一个别扭的框这两件事是独立的只配中文字体不配负号开关负号还是会出错。解决在创建画布之前强制写这两行plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei] plt.rcParams[axes.unicode_minus] False如果这两行设了还没用说明系统里根本没有对应字体去操作系统的字体目录确认是否存在 SimHei 或微软雅黑没有就换一个实际存在的字体文件名。这个坑在 Linux 服务器上最常见镜像里往往不带中文字体。5.2 read_csv 直接抛 UnicodeDecodeError现象加载数据文件时报UnicodeDecodeError: utf-8 codec cant decode byte 0xd7整个脚本在第一行就阵亡。原因Windows 环境下用 Excel 另存过的 CSV 文件大概率是 GBK 或 GB18030 编码资源包里原作者的运行环境是 UTF-8到了你手上编码就对不上。解决不要急着转格式先用file命令或文本编辑器看一眼真实编码再在读取时显式指定df pd.read_csv(./data/orders_sample.csv, encodinggbk, errorsreplace)errorsreplace是在万不得已的情况下使用它会把无法解码的内容替换成占位符保证读取流程能走完。如果 encode 换成gb18030后依然有乱码那说明文件里混着多种编码这种文件直接用 Excel 打开另存为 UTF-8 编码是最快的出路不值得用代码跟编码斗。5.3 老脚本里的 df.append 调用直接报 AttributeError现象运行源代码时报DataFrame object has no attribute append网上搜到的解决办法五花八门照着改还是错。原因这份资源里大概率用的是较旧语法pandas 2.0 版本彻底移除了DataFrame.append方法。你环境里装的是新版 pandas老代码自然跑不动。解决把追加行的写法改成pd.concat# 旧写法df df.append(new_row, ignore_indexTrue) df pd.concat([df, new_row_df], ignore_indexTrue)这里有个分支判断的细节new_row如果是一个 dict需要先包一层 DataFrame 再 concat如果拿不准最稳妥的兼容写法是用pd.DataFrame([new_row])把单行转成表再拼。把它写进一个通用函数里以后遇到老代码直接替换调用点不用一行行改。这个坑提醒我们先看 requirements 里锁的 pandas 版本再决定代码要不要做版本适配。5.4 大数据量脚本越跑越慢内存直接吃满现象数据量几百万行时脚本刚开始挺快跑到分组聚合阶段内存占用飙到十几个 G最后被系统杀进程。原因read_csv 默认全量加载所有列都会按最能容纳的类型读入内存而源数据里往往有大量根本没用的宽表字段加上 object 类型字段内存占用远超实际需求。解决读取阶段就做裁剪只读需要的列并为类别字段指定更节省空间的类型df pd.read_csv(./data/large_orders.csv, usecols[order_id, order_date, province, order_amount], dtype{province: category})参数说明usecols参数在 CSV 解析阶段就把不需要的列丢弃比读完再 drop 省出大量中间内存dtype{province: category}把省份这种有限枚举值的字符串列转成 Pandas 的 category 类型内部用整数编号存储这一列内存能降到原来的几十分之一。如果数据量到了千万行级别我会先用仅含所需列的取数逻辑精简再考虑按时间分块读取。6. 进阶把清洗到出图整条链路封装成可复用管道当你已经能把这个源码包跑顺接下来值得做的一件事是把每次重复的「读数据 → 清洗 → 聚合 → 出图」流程收拢成一个函数管道。这样换一批数据进来改动成本从半小时降到两分钟。一个典型的管道函数长这样import pandas as pd import matplotlib.pyplot as plt def run_analysis(csv_path: str, group_col: str, target_col: str, out_png: str): df pd.read_csv(csv_path, encodingutf-8) df clean_data(df) # 复用第 3 章清洗函数 stats group_stats(df, group_col, target_col) # 复用聚合函数 assert stats is not None assert len(stats) 0 assert stats[target_col].dtype in [float64, int64] fig, ax plt.subplots(figsize(10, 5)) ax.bar(stats[group_col], stats[target_col]) plt.savefig(out_png, dpi150, bbox_inchestight) return stats参数与逻辑说明函数把路径、分组字段、统计字段、输出路径作为入参内部调用的还是前面封装好的清洗和聚合函数。三个assert是我后来养成的习惯它们在做数据的快速体检结果不是空表、结果有行、数值列类型正确。任何一步不满足函数当场炸给你看而不是带病继续往下画一张废图。这个管道的价值在换数据场景时最能体现。某次我拿一份新数据测试CSV 里日期列有三分之一是空值清洗函数自动转成 NaT聚合阶段没有任何报错但画出的图前半个月是平的我当时差点被这份假趋势骗了。从那以后我每次跑完管道都会强制检查一遍聚合结果的行数和日期覆盖范围并且把清洗前后的数据形状打印出来对比确认没丢数据再进入出图环节。这套习惯后来救了我很多次希望你也能在自己的分析流程里用上希望帮到你。本文还有配套的精品资源点击获取