葡萄酒评论数据分析实训：Pandas清洗、可视化与报告实战

拿到6.1葡萄酒评论分析报告这个实训题目的时候我最开始的想法很简单——无非就是pandas读一下CSV算几个均值画两张图然后写点结论交差。但真正动手才发现这关考察的远不只是“会用pandas”这么简单它其实是一套完整的数据分析流程从数据理解、清洗、特征构造到分组聚合、可视化、结论提炼最后还要组织成一份能看的报告。中间每一个环节都有不少容易踩空的细节尤其是头歌平台这种自动评测环境数据路径、输出格式、环境依赖都会成为卡点。这篇文章就按我实际完成这个项目的顺序把每一步的思路、关键代码、选型理由以及我踩过的坑完整过一遍希望能给正在做这个实训的同学一些参考也能让想练手数据分析的朋友从中找到可以直接落地的做法。1. 项目拆解搞清楚6.1这关到底要你回答什么问题1.1 需求拆解这关考的是数据分析全流程头歌平台上标注为project的关卡通常不是单纯填空而是要求你独立完成一个小型分析任务。6.1这个“葡萄酒评论分析报告”从名字就能看出来核心产出物是“分析报告”而不是某一段代码。这意味着你不仅要会调用pandas的接口还要能够围绕一份真实数据集回答几个具体的业务问题全球葡萄酒价格和评分整体水平如何不同国家产区的酒差异大吗价格越贵的酒评分一定越高吗哪些品种、哪些酒庄表现突出把这些需求翻译成技术动作其实就是一条标准数据分析流水线数据读取用pandas读取CSV文件先确认数据规模数据清洗处理缺失值、类型转换、去重、异常值特征工程构造价格区间、评分档位、评论长度等新字段分组聚合按国家、品种、酒庄、价格区间做统计对比相关性分析计算价格与评分的相关系数可视化用matplotlib画分布图、箱线图、散点图结论输出把分析结果整理成结构化的文字报告。我特别建议在写第一行代码之前先在草稿纸上把这个流程画出来。因为实训项目最怕的不是某个API不会用而是做完清洗之后不知道下一步该算什么或者画了一堆图却跟报告结论对不上。1.2 选型理由为什么是pandas而不是Excel这个项目选pandas除了平台本身的教学要求之外更现实的原因是数据量级和处理灵活性。葡萄酒评论数据集通常有几万行到十几万行Excel打开虽然没问题但一旦涉及多字段分组、条件筛选、关联统计操作起来就非常痛苦而且每一步操作都没法留下可复现的脚本。pandas的优势体现在几个方面。首先是DataFrame结构把表格的行列操作直接映射成方法调用df[df[price]50]这类筛选写起来非常直观。其次是groupby和agg的组合可以在一条语句里完成“按国家分组、算均价、算中位数、算数量”这种多维统计纯Python写循环不仅代码量翻倍出错概率也高。再有就是pandas和matplotlib、numpy天然衔接算完结果直接就能画图不会出现数据格式对不上的尴尬。如果你的环境里能安装seaborn画箱线图和分布图会更美观但头歌这类平台一般以基础环境为主所以这篇文章统一使用matplotlib它完全够用。1.3 先看评测要求输出格式决定你的代码结构这是我在实训里最容易忽略的一步也是建议你最先做的一步。头歌的project关卡评测方式可能有两种。一种是自动判题通过运行你的代码比对标准输出这种情况下打印内容和格式必须严格一致多一个空格都可能被判错另一种是人工评分或者提交报告这种情况下最终交付物是报告文本代码只是辅助。如果是自动判题我建议先把代码拆成函数每个函数负责一个输出项最后用ifname main统一调度。这样即使某个环节报错也能快速定位。如果日志里明确要求输出特定内容比如“打印平均分保留两位小数”那就老老实实用print(f{avg:.2f})不要自创格式。这个坑我在很多实训项目里都见过分析做得再漂亮输出格式不对分数一样拿不到。2. 数据摸底吃透字段再动手远比你想象的重要2.1 四条命令完成初步体检拿到CSV文件之后的第一步不是急着清洗而是先做一次“全身体检”。我一般会按顺序执行四条命令花不了两分钟但对全局会有非常清楚的把握。import pandas as pd df pd.read_csv(wine.csv) print(df.shape) # 行数、列数 print(df.head()) # 前5行看字段内容和格式 print(df.info()) # 每列的非空数量、数据类型 print(df.describe()) # 数值型字段的均值、标准差、分位数df.shape告诉你数据规模这个直接决定后续操作的复杂度。df.head()能让你对每个字段长什么样有个直观感觉比如description是长文本、price是整数还是小数、title里是否包含年份。df.info()是全项目最关键的一步它会把每列的非空个数和数据类型一次性列出来缺失值严重程度一目了然。df.describe()则让你对价格和评分这两个核心字段的分布心里有数比如平均分是不是在88左右价格范围是不是从4美元到2000多美元。这四条命令跑完项目的数据画像基本就出来了。我见过不少同学一上来就df.dropna()结果把一半数据都删了就是因为没先看info()到后面分组统计时才发现样本量严重不足。2.2 description字段最容易被忽视的信息池在数据集里description字段是品酒师写的品酒笔记一段一两句话的英文文本比如“A ripe and juicy red with blackberry and cherry aromas, firm tannins and a fresh finish.”。很多人在做这个项目时会忽略它因为既不是数值也不是国家酒庄这种可以直接分组的字段。但实际上description至少有两个用途。第一它的长度可以作为“评论详细程度”的代理指标有些报告会用它来分析酒款是否受到品酒师更多关注长评论文本往往意味着这款酒有更多可说的地方通常是名庄或高分酒。第二如果后续想做得更深可以用简单的词频统计看不同国家酒款的描述里出现的高频词比如法国酒常出现“tannins”“earth”新西兰酒常出现“tropical”“crisp”这能让报告多一个维度的分析。不过对于基础实训我建议不用做太复杂的文本挖掘构造一个review_lendf[description].astype(str).str.len()字段就足够了后面可以按价格区间对比平均评论长度这样报告会更有层次。2.3 缺失值与数据类型的整体感知看完info()之后通常会发现这样几个典型情况price字段有一定数量的空值region_2字段缺失非常严重可能有50%以上都是NaNtaster_twitter_handle也有大量缺失还有个别字段类型不太对比如价格被读成了object而不是float。遇到这些问题不要慌先记录下来后面清洗时逐个决策。缺失值的处理策略并没有统一答案取决于字段重要性和缺失比例。region_2这种二级产区缺失一半以上直接删列即可price是核心数值字段缺失比例通常不会太高可以考虑删除缺失行或填充taster_twitter_handle只是品酒师的社交账号对于本次分析没有实际用处也可以直接删。我习惯先把这些判断写成一个清单country少量缺失删除缺失行或填充后保留province跟着country走先保留region_1缺失比例约20%可保留但分组时要注意region_2缺失严重删除taster_twitter_handle与分析无关删除price核心字段看缺失比例决定删行还是填充description基本无缺失可直接用。3. 清洗与构造脏数据处理的取舍逻辑3.1 缺失值处理不是所有NaN都该删清洗环节我见过最粗暴的方案就是一上来df.dropna()把包含任何空值的整行都删掉。这种做法的代价非常大。假如数据有10万行因为price缺了几百条、region_1缺了两万条如果直接dropna()可能只剩五六万行信息损失极其严重。正确的做法是先按字段区分对待。我一般按缺失比例来分档缺失率低于5%的字段可以直接删除缺失行缺失率在5%到30%之间需要看字段本身重不重要重要字段可以考虑用均值、中位数或众数填充缺失率超过50%的除非是分析的核心维度否则直接删列。对于price这种核心变量我更倾向于先把空值行删掉因为后续计算均价、相关系数都不希望引入填充带来的噪声。另一个实用小技巧是用df.isnull().mean().sort_values(ascendingFalse)这一步直接把每列缺失比例按从高到低排出来决策起来非常直观。missing_rate df.isnull().mean().sort_values(ascendingFalse) print(missing_rate)3.2 类型转换与异常值价格里的“离谱数据”读入CSV时pandas会自动推断类型但往往有不靠谱的时候。比如价格列如果有少量数据是字符串形式比如“$12”或者“12.5 USD”整列就可能会被推断成object类型。这种时候需要强制转换df[price] pd.to_numeric(df[price], errorscoerce) df[points] pd.to_numeric(df[points], errorscoerce)errorscoerce的意思是转不过来的值会被置成NaN而不是直接报错中断。转完之后再结合isnull()看一下多出了多少空值就知道原始数据里有多少格式不规范的记录了。关于异常值价格字段最容易出现两类问题一类是0值另一类是极端离谱的大值还有少数格可能高到几千美元虽然真实存在但不是主流样本。处理时我不会直接删掉所有高价酒因为顶级名庄的价格本身就是分析的一部分但如果某个价格明显超出合理范围比如单价写成几千美元需要先对比describe()里的分位数来判断。如果你的报告重点是“大众市场葡萄酒的规律”那可以把价格超过某个分位比如99分位的样本单独拿出来看而不是一刀切。3.3 三个新特征让报告更好写完成基础清洗之后下一步是构造几个报告里一定会用到的新特征。我认为有三个字段性价比最高。价格区间字段把连续的价格离散化成几个档位便于后续做分组对比。推荐用pd.cutbins [0, 20, 50, 100, 10000] labels [20美元以下, 20-50美元, 50-100美元, 100美元以上] df[price_range] pd.cut(df[price], binsbins, labelslabels)评分档位字段把评分映射成文字标签写报告时直接引用“85分以下为普通酒款86-90为优秀91-95为顶级96以上为传奇。”这个分类标准在葡萄酒评论领域比较常见可以让报告的专业性提高一个档次。def points_level(p): if p 96: return 传奇级 elif p 91: return 顶级 elif p 86: return 优秀 else: return 普通 df[points_level] df[points].apply(points_level)评论长度字段用description的字符长度来代表品酒笔记的详细程度df[review_len] df[description].astype(str).str.len()这三个字段加上原始的国家、省份、品种、酒庄、年份基本上可以支撑一份报告里90%的分组分析需求了。4. 指标计算与分组聚合让数据替你回答业务问题4.1 整体画像算出一组“可以写进报告”的数字清洗和构造完成之后先来做整体画像。这一步的目的是算出几个有代表性的数字让你对数据集有个宏观认知同时也是报告开头的核心素材。我会先看这几个指标总记录数、酒款覆盖的国家数、品种数、酒庄数价格字段的均值、中位数、最小值和最大值评分字段的均值、中位数、最小值和最大值评分最高的酒款信息和最贵的酒款信息。overview { 总记录数: len(df), 国家数: df[country].nunique(), 品种数: df[variety].nunique(), 酒庄数: df[winery].nunique(), 平均价格: round(df[price].mean(), 2), 价格中位数: round(df[price].median(), 2), 平均评分: round(df[points].mean(), 2), 评分中位数: round(df[points].median(), 2), } print(overview)我最关注的是均值和四分位数的组合。均价容易被少数天价酒拉高所以一定要同时看中位数这样报告里可以写“均价约35美元但中位数只有28美元说明大部分酒款集中在偏低价格带少数高端酒拉高了整体均值”。这种表述非常见功底能明显提升报告的层次。4.2 国家维度哪里产的酒评分高、价格贵整体画像完成之后第一个真正意义上的分组分析是按国家看差异。这里要特别强调一点分组之后不要只看平均值一定要同时看样本量。如果一个国家只有3条记录平均分再高也没有统计意义写进报告反而会误导读者。我一般会这样聚合country_stats df.groupby(country).agg( 酒款数(country, size), 平均价格(price, mean), 中位价格(price, median), 平均评分(points, mean), 中位评分(points, median), ).round(2) # 按酒款数从多到少排只保留样本量足够的国家 country_top country_stats[country_stats[酒款数] 50].sort_values(酒款数, ascendingFalse) print(country_top.head(10))从实际数据来看美国、法国、意大利、西班牙这几个国家的酒款数量会排在前列而英国、德国、奥地利等虽然酒款数偏少但平均评分往往不低。这种“样本量和评分倒挂”的现象本身就是报告里可以做文章的点精品酒庄产酒量小评分更容易集中在高端区间大规模产酒国则因为基数大评分分布更分散。4.3 品种维度先过滤样本量再谈对比按品种分析时有一个新手必踩的坑数据集里可能包含几百种葡萄品种其中大量品种只出现了一两次。如果直接对整个groupby结果排序会发现榜首全是极小众品种完全不具备参考价值。正确做法是先过滤出出现次数足够的品种再比较均价和均分。这个阈值我习惯设为100条低于这个样本量的品种不做横向对比。variety_counts df[variety].value_counts() top_varieties variety_counts[variety_counts 100].index variety_stats df[df[variety].isin(top_varieties)].groupby(variety).agg( 酒款数(variety, size), 平均价格(price, mean), 平均评分(points, mean), ).round(2) print(variety_stats.sort_values(平均价格, ascendingFalse).head(10))做完之后你会发现很有意思的现象赤霞珠和黑皮诺这两个品种的平均价格明显高于梅洛但平均评分不一定有同样差距。这时候报告里可以再深入一步思考是品种本身的市场定位决定了价格还是产区和酒庄品牌的溢价传导到了品种维度。当然数据只能告诉你“是什么”不能直接告诉你“为什么”但写成报告时指出这种差异和可能原因会显得思考完整。4.4 相关系数价格贵和评分高到底有多大关系这个数据集里最经典也最重要的问题就是价格和评分的关系。计算方法特别简单corr df[price].corr(df[points]) print(f价格与评分的相关系数: {corr:.3f})在不同版本的葡萄酒评论数据集里相关系数通常落在0.3到0.4之间属于中等偏弱的正相关。这个数字的含义是价格和评分确实有正向关系但价格只能解释评分变化的一小部分还有大量变量是价格解释不了的。写报告时这个结论要表述得非常小心。不能说“价格越贵评分越高”因为0.3左右的相关系数根本支撑不住这种强因果表述。更准确的说法是“价格与评分存在弱到中等的正向相关高价区间出现高评分酒款的概率更高但高价并不保证高品质低价格区间同样存在大量高评分酒款”。这种表述既尊重数据又能展示出分析者本人的数据素养。如果还想更进一步可以用numpy计算分组后的相关系数比如只看价格在50美元以下的酒款相关系数可能会降到0.2以下说明在平价酒范围里价格和品质的关联更弱。这组对比非常能体现分析深度我在报告里一般都会加上。5. 可视化三张图把价格与评分的结论钉死在报告里5.1 价格分布直方图配对数变换才讲得清楚价格字段的分布是典型的长尾右偏分布大部分酒款集中在10到50美元区间少数酒款价格冲到几百甚至上千美元。如果直接把原始价格画成直方图你会发现右边拖出长长的尾巴左边挤成一团完全看不出分布形态。解决办法是先对价格做对数变换这里我用的是np.log1p即log(1x)好处是能处理价格为0的情况import numpy as np import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False log_price np.log1p(df[price].dropna()) plt.figure(figsize(8, 5)) plt.hist(log_price, bins60, color#4C72B0, alpha0.8) plt.xlabel(价格对数变换后) plt.ylabel(酒款数量) plt.title(葡萄酒价格分布对数变换) plt.tight_layout() plt.savefig(price_distribution.png, dpi100) plt.show()对数变换之后的分布形态会清晰很多能看到明显的峰值在20美元附近右侧逐渐衰减。报告中配一句说明“对价格取对数后分布近似单峰形态主体市场高度集中在30美元以下”比直接说“大多数酒很便宜”有说服力得多。5.2 分组合比箱线图直接暴露价格档位差异箱线图最适合用来对比不同组别之间的分布差异。这里我选择按价格区间分组看每个组内评分的分布情况。这不仅直观展示了价格档位和评分的关系还比单看均值多了中位数、四分位距、异常值等丰富信息。order [20美元以下, 20-50美元, 50-100美元, 100美元以上] data_by_range [df.loc[df[price_range] r, points] for r in order] plt.figure(figsize(9, 5)) plt.boxplot(data_by_range, labelsorder, showfliersFalse) plt.xlabel(价格区间) plt.ylabel(评分) plt.title(不同价格区间的评分分布) plt.tight_layout() plt.savefig(boxplot_by_price.png, dpi100) plt.show()箱线图做出来之后你能很明显地看到中位数随着价格档位上升而抬升但50到100美元和100美元以上两个档位之间的差距会明显变小。这说明价格对评分的边际效应递减价格涨到一定程度之后评分的提升空间就有限了。这个细节如果只在数据表里看数字很难形成直觉但一张图就够了。5.3 散点图加趋势线一张图证明结论散点图是展示价格与评分关系的首选。不过这个数据集的点非常多直接plt.scatter画出来会非常密集点与点互相重叠图上一片黑。两个处理技巧一是设置alpha透明度二是把点画小一点。加上线性趋势线的方式也值得推荐用numpy.polyfit拟合一次多项式然后叠加到散点图上valid df[[price, points]].dropna() x valid[price].values y valid[points].values plt.figure(figsize(8, 6)) plt.scatter(x, y, s2, alpha0.15, c#4C72B0) k, b np.polyfit(x, y, 1) x_line np.linspace(x.min(), x.max(), 100) plt.plot(x_line, k * x_line b, colorred, linewidth2) plt.xlabel(价格美元) plt.ylabel(评分) plt.title(价格与评分关系散点图) plt.xlim(0, 300) plt.tight_layout() plt.savefig(scatter_price_points.png, dpi100) plt.show()x轴我会限制在300美元以内因为绝大多数样本都在这个区间超过之后点非常稀疏反而会压缩主体部分的显示比例。趋势线画出来之后红色直线明显是向上倾斜的但斜率不大配合4.4里的相关系数0.3左右这个“弱正相关”的结论就非常直观了。5.4 中文字体问题Linux环境下最常踩的坑头歌平台很多实训环境是Linux服务器默认不支持中文字体图表里所有中文都会变成方框。这个坑我在实训和实际项目中都踩过几乎每个用matplotlib画中文图的同学都会遇到。解决办法有两步。第一步是代码里配置字体plt.rcParams[font.sans-serif] [WenQuanYi Zen Hei, Noto Sans CJK SC, SimHei] plt.rcParams[axes.unicode_minus] False第二步是检查系统里到底有没有中文字体。在Linux终端执行fc-list :langzh如果输出为空说明系统里压根没装中文字体那就要么安装字体包要么先把图里的文字全部改成英文。对实训来说最省事的方案其实是全程用英文做图表标签和标题避免字体问题。我个人的建议是如果时间紧张就用英文标签把中文解释放在报告正文里如果想让报告整体美观则先确认环境有对应字体再配中文。6. 报告组织与提交流程别让前面的功夫毁在最后一步6.1 报告结构的推荐模板数据分析报告和写作文不一样不需要华丽的辞藻但必须结构清晰、数据有来源、结论有支撑。我推荐一个直接可以套用的模板这个结构不管是实训提交还是真实工作中做数据报告都适用。数据来源与说明一句话说明数据集的规模、字段含义以及清洗策略让读者知道你的数据底子是什么整体画像用总记录数、国家数、均价、中位价、平均评分、最高评分酒款等指标让读者快速建立全局认知国家与品种对比通过表格或图表展示不同国家、品种在价格和评分上的差异注意突出样本量最大的几个组价格与评分关系给出相关系数搭配散点图或箱线图说明相关性强弱及边际递减现象主要结论与讨论把前面分析的结果浓缩成3到5条结论每条必须带具体数字支撑。这个结构的核心逻辑是“从宏观到微观、从描述到关系、从数据到结论”读者跟着一步步读下来不会迷路。6.2 每个结论都必须有数字撑腰写结论部分最容易犯的毛病是“空对空”。比如写“法国葡萄酒整体品质较高”这句话本身就是废话没有数据支撑。带数字的写法应该是“法国酒款平均评分为89.2分高于全球平均分88.4分且中位价格达到42美元是美国酒款中位价格的两倍左右说明法国酒整体定位偏高端”。数字报告还有一个好处是它能强制你回到数据里去核实每一个说法。写着写着你可能会发现“原来英国酒平均评分比法国还高只是样本量小”这时候你就有机会在报告里补充一句“英国酒款数量仅占样本的1%统计分析意义有限”这就叫严谨。我还会在报告的每个图表下面写一两句“图注”告诉读者这张图能看出什么。图注并不是把图里的轴标签复述一遍而是提炼出关键发现。比如箱线图下面写“100美元以上价格区间的评分中位数仅比50-100美元区间高0.3分但价格翻倍”——这才是图注该有的信息量。6.3 平台提交的常见错误与排查实训项目代码在本地跑通了上传到头歌平台却报错这种情况非常常见。最常出现的问题有这么几类。路径问题。平台的工作目录和你本地不一样如果代码里写死了绝对路径比如C:/Users/xxx/wine.csv上传之后必然报文件找不到。正确做法是用相对路径或者用os.path拼接先打印当前工作目录确认CSV文件的位置。import os print(os.getcwd())可视化backend问题。无图形界面的Linux服务器上plt.show()不会弹窗有些环境还会直接报错。稳妥的做法是在代码开头强制指定matplotlib的Agg后端然后所有图片用savefig保存到文件不需要showimport matplotlib matplotlib.use(Agg)版本差异问题。本地pandas可能是2.x版本平台可能是1.x版本个别API行为会有差异。常用接口如groupby、agg、merge在这些版本间基本兼容最需要注意的是inplace参数、append方法2.x里已移除这类细节。代码里尽量避免使用已经废弃的API。输出格式问题。自动判题对输出格式有严格限制时不要画蛇添足。要求打印平均分就只打印平均分不要在中间穿插警告信息或调试日志。我习惯在提交前先检查一遍所有print语句确保输出的每一行都是评测需要的格式。6.4 最终脚本的代码组织为了让整个项目结构清晰我会把所有代码组织成“读取—清洗—分析—可视化—输出”五个函数最后用main统一调用。这样写的好处是中间任何一步需要调整都只改对应函数不用动其他部分。一个简单的组织方式长这样def load_data(path): ... def clean_data(df): ... def analyze(df): ... def visualize(df): ... def generate_report(df): ... if __name__ __main__: df load_data(wine.csv) df clean_data(df) analyze(df) visualize(df) generate_report(df)每个函数内部通过print输出关键结果图通过savefig保存到当前目录。这样整个项目跑完终端能看到数字结论目录下会生成几张图表报告文本可以直接从输出里复制整理。提交的时候只需要确认没有多余的文件依赖所有代码都能在一个标准Python环境里跑通即可。最后分享一个我个人的习惯。做完整个分析之后我会在报告末尾附上分析环境的基本信息比如“Python 3.9 pandas 2.0 matplotlib 3.7”同时用seed固定随机过程虽然这个项目没有随机抽样但这个习惯是通用的。这个习惯在实训里可能看不出来太大价值但当你过两个月回看这份报告或者代码换了环境重新跑一遍却对不上数字时你会发现版本信息是你排查问题最重要的起点。实训作业是这样以后做任何数据分析项目这条都适用。