用Python解析电商评论：从文本情感分析到商品选品实战

1. 为什么我要用Python来管这件事先说结论Python不能替你做审美决策但可以帮你把一件完全靠感觉的事情拆成一堆可量化的指标。去年年底我想给女朋友挑几款秋冬穿的黑色连裤袜结果一头扎进电商平台看了一晚上越看越迷糊。每个商品主图都好看评论区有人说“绝绝子”有人骂“起球严重”同一个链接里评价能吵起来。那一刻我意识到这不是审美问题这是典型的文本数据分析问题。于是我把“如何给女友挑选黑丝”这个日常难题做成了一个小型Python数据分析项目。整个思路其实特别简单采集足够多的商品评价数据分词、统计词频、做情感打分再结合价格、实穿度、材质、D数这些结构化字段看看哪些款式在真实用户口中确实“好看且好穿”。这是典型的电商选品逻辑只不过这次选的是一个以前根本没人用数据认真对待的品类。这个项目适合谁看一是Python入门到进阶阶段的朋友想完整走一遍“采集-清洗-分析-可视化”全流程但不想做那种无聊的房价预测Demo二是数据分析感兴趣、又讨厌假大空案例的人你会发现换一个接地气的业务场景整个分析过程立刻变得有趣得多。整个过程我会把代码、参数和思考过程都拆开讲包括我踩过的坑。2. 需求拆解与整体设计思路2.1 “好看”怎么变成计算机能算的指标做数据分析之前最忌讳的就是直接伸手要数据。我拿到这个题目后的第一反应是先定义问题什么叫“哪一款好看”好看本身是主观感受但放到电商评价场景里它基本等于“用户收到货之后的满意程度”。满意的人会写“显瘦”“高级”“不透”“不掉裆”“弹性好”不满意的人会写“起球”“勾丝”“太薄”“勒肚子”“像塑料袋”。所以我的核心指标选择的是商品评价情感得分、核心好评关键词覆盖率以及材质参数。这三个维度组合起来基本能反映“哪一款因为哪些特征被用户认可”。这就是把不可量化的美转换成了可计算的统计特征。另外还有一个重要约束——这是一种贴身衣物穿着舒适度、安全性、材质环保性比颜值更底层的。所以分析时一定不能只看“好看”必须同时看“材质成分”“厚薄D数”“是否掉色”“是否起球”这些硬指标。否则推荐出一款只适合拍照、日常穿两天就废的那是在坑人。2.2 整体技术选型与流程规划整个项目的流程我设计成五个环节数据采集、数据清洗、字段标准化、情感分析、可视化输出。技术选型如下环节工具作用数据采集requests BeautifulSoup抓取公开商品信息与评论或使用本地样本数据演示数据处理pandas numpy清洗缺失值、类型转换、字段规整中文分词jieba将评价切词并加入“丝袜穿搭”领域自定义词典情感分析SnowNLP或自定义情感词典对每条评价做正面/负面打分可视化Matplotlib pyecharts绘制词云、柱状图、箱线图、雷达图运行环境Python 3.10 VSCode本地开发调试这里要多说一句数据合法性。如果你要跑完整流程优先使用平台官方开放API或者你已经授权爬取的数据演示项目完全可以用公开数据集或者自己构造一批模拟评价重点在分析方法本身。自己写爬虫抓公开数据时也要遵守目标网站的robots协议和服务条款控制请求频率别给服务器添麻烦。这个项目里有大量文本分析环节用模拟数据一样能跑通全流程不影响学东西。3. 环境准备与基础配置3.1 Python环境与虚拟环境搭建我用的是Windows电脑平时也偶尔切到Linux服务器上跑数据。这里把两边都提一下。Windows下直接到Python官网下载3.10以上版本的安装包安装时一定勾选Add Python to PATH否则后面在命令行敲python会提示找不到命令。Linux下如果用apt或者yum装系统自带Python版本往往偏老建议用源码编译或者直接装MiniConda管理多套Python环境避免把系统环境搞乱。推荐用虚拟环境隔离依赖这几乎是Python项目必做的一步。我的习惯是先建一个专用目录mkdir black-silk-analysis cd black-silk-analysis python -m venv venvWindows激活虚拟环境用venv\Scripts\activateLinux和macOS用source venv/bin/activate。激活之后命令行前面会多出一个(venv)这样你后面无论装什么第三方库都不会污染全局Python。安装依赖时我用的是清华镜像源国内直接pip install经常慢到怀疑人生甚至超时失败pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas numpy jieba snownlp matplotlib pyecharts wordcloud实测清华源速度比默认源快好几倍而且很少断流。如果你装的时候发现某个包版本冲突优先检查是不是Python版本太老导致某些新版本库不支持。我的建议是Python 3.10pandas 2.x这两个组合下来目前最省心。3.2 VSCode配置Python开发环境的要点我用VSCode做主力编辑器配置其实非常简单。装一个官方Python扩展然后在设置里把默认解释器指到你刚才创建的虚拟环境venv\Scripts\python.exe上这一步特别关键。很多人写代码能运行但VSCode识别不到第三方库跳出一堆红线基本都是解释器没有指对。另外建议开启VSCode的“Jupyter”支持把代码块写在一个.py文件里也能逐段运行只要你装了Jupyter扩展和Python扩展。这在调试数据清洗逻辑时非常方便我基本是把分析过程拆成几个代码块逐个运行看中间结果而不是一次性跑整个文件。踩坑时能快速定位是分词问题还是数据问题。还有一个很实用的小细节在项目根目录建一个.env文件放数据库密码或者请求配置之类然后用python-dotenv读取不要硬编码在代码里。虽然这个小项目不需要但养成这个习惯之后做任何数据项目都能少一堆麻烦。4. 核心实现从模拟数据到情感分析4.1 构造带标签的商品评价格式因为合规原因我这里直接用模拟数据演示完整流程。先定义一批商品对象每个商品包含名称、价格、D数、材质成分和评论列表。我设置了四个有代表性的款式import pandas as pd import numpy as np products [ { name: 光面哑光60D连裤袜, price: 19.9, denier: 60, material: 锦纶85% 氨纶15%, comments: [ 面料很细腻显瘦效果好穿起来很舒服, 秋天穿刚好不厚不薄颜色自然, 腰头有点紧但不勒整体满意, 洗了一次没变形也没有起球, 质感高级不像便宜货, ], }, { name: 渐变字母印花80D, price: 29.9, denier: 80, material: 锦纶80% 氨纶20%, comments: [ 印花很特别颜值高拍照好看, 穿着略滑走路容易掉裆, 颜色偏深显腿细男朋友说好看, 洗两次有点起球价格摆在这, 不透秋冬能穿, ], }, ]真实项目里这里的商品评论应当来自合法获取的公开数据。模拟数据的好处是干净规整方便你理解分析逻辑真实数据的坑我放在后面对应章节单独讲。数据拿到手之后第一步永远是查看结构、缺失值、类型我给每条联系人补充一个“商品名称”字段然后将所有评论展开成一行一条的长表def build_dataframe(products): rows [] for p in products: for c in p[comments]: rows.append({ 商品: p[name], 价格: p[price], D数: p[denier], 材质: p[material], 评论: c, }) return pd.DataFrame(rows) df build_dataframe(products) print(df.head())这种长表格式是后续所有分析的基础。每一行代表一条独立评价商品名和价格作为该行的属性重复出现。pandas在这种结构上做分组、聚合非常自然。4.2 中文分词与自定义词典评价数据里全是短文本“显瘦”“掉裆”“起球”这种词必须准确切出来。默认jieba分词对通用词汇效果不错但遇到“不掉裆”“光面哑光”“连裤袜”这种领域词就会切碎直接影响后续词频统计和情感分析。所以第一步要加载自定义词典。初始化代码import jieba custom_words [ 显瘦, 不掉裆, 连裤袜, 起球, 勾丝, 哑光, 光面, 掉裆, 勒肚子, 不透, 松紧, 腰头, 回弹, 压力袜, ] for w in custom_words: jieba.add_word(w)分词之后可以写一个小函数过滤掉单字、标点和无意义的语气词统计词频from collections import Counter def tokenize_and_count(texts): counter Counter() for text in texts: words jieba.lcut(text) words [w.strip() for w in words if len(w.strip()) 1] counter.update(words) return counter word_freq tokenize_and_count(df[评论].tolist()) word_freq.most_common(15)为什么这个细节值得单独写一节因为如果你不加载自定义词典词云上大概率会出现大量单字垃圾词而且真正的关键词“掉裆”会被拆成“掉”和“裆”两个无意义片段。很多新手做文本分析第一步就败在这不是算法问题是分词粒度问题。4.3 文本情感打分与统计口径情感打分我用了两种方式做对照第一种是SnowNLP直接打分第二种是自定义情感词典打分。SnowNLP的好处是零成本直接用from snownlp import SnowNLP def snownlp_score(text): return SnowNLP(text).sentiments df[情感分_snownlp] df[评论].apply(snownlp_score)SnowNLP的分数范围0到10.5以上算正向以下算负向。但坦白讲SnowNLP在电商短评上的表现只能算“够用”它会对很多新网络词产生误判。比如“绝绝子”这种近年流行词模型不认。所以我同时维护了一个小而准的自定义情感词典通过正负向词汇数量做打分positive_words {显瘦, 舒服, 高级, 好看, 满意, 颜值高, 细腻, 自然, 回弹, 不透, 不掉裆, 弹性好} negative_words {勒, 掉裆, 起球, 勾丝, 变形, 紧, 滑, 廉价, 过敏} def custom_emotion_score(text): pos_cnt sum(1 for w in positive_words if w in text) neg_cnt sum(1 for w in negative_words if w in text) if pos_cnt 0 and neg_cnt 0: return 0.5 return pos_cnt / (pos_cnt neg_cnt) df[情感分_自定义] df[评论].apply(custom_emotion_score)两个分数加在一起就能得到比单模型更有参考价值的结合指标。我在输出部分将所有评价按商品分组计算每款商品的平均情感分、好评关键词占比、价格形成最终的推荐矩阵。4.4 数据可视化词云、柱状图与雷达图可视化环节我会同时展示三张图因为这三张图回答的问题不一样。第一张词云解决“用户都在夸什么/骂什么”第二张柱状图解决“哪一款综合评价更高”第三张雷达图解决“不同款式的优劣势分布”。词云生成时有一个非常常见的坑——中文字体缺失。直接使用wordcloud默认字体画出来全是方格。解决办法是指定一个系统中文字体文件from wordcloud import WordCloud import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei] # Windows黑体 plt.rcParams[axes.unicode_minus] False # 解决负号显示方块 wc WordCloud( font_pathC:/Windows/Fonts/simhei.ttf, width800, height600, background_colorwhite, max_words100, colormapplasma, ) wc.generate_from_frequencies(word_freq) plt.figure(figsize(10, 6)) plt.imshow(wc, interpolationbilinear) plt.axis(off) plt.show()如果你在Linux服务器上跑没有simhei.ttf需要先fc-list :langzh看系统有哪些中文字体或者自行上传一个字体文件到项目目录下再引用。macOS则用/System/Library/Fonts/PingFang.ttc或者/System/Library/Fonts/STHeiti Light.ttc。柱状图我用matplotlib按商品计算平均情感分并加上每款的评论数量和价格标注grouped df.groupby(商品).agg( 平均情感分(情感分_自定义, mean), 评论数(评论, count), 均价(价格, mean), ).reset_index() grouped grouped.sort_values(平均情感分, ascendingFalse) plt.figure(figsize(10, 6)) bars plt.bar(range(len(grouped)), grouped[平均情感分], color#8e6b8a) plt.xticks(range(len(grouped)), grouped[商品], rotation20) plt.ylabel(情感得分) plt.title(各款式用户好评情感得分对比) for idx, (value, price) in enumerate(zip(grouped[平均情感分], grouped[均价])): plt.text(idx, value 0.01, f{value:.2f}\n¥{price}, hacenter) plt.tight_layout() plt.show()雷达图用pyecharts生成交互式网页图表展示每个款式在“颜值”“舒适度”“耐穿度”“实穿度”“性价比”五个维度上的得分。这五项得分我在模拟数据中直接用评论关键词映射出现“好看”“颜值高”“显瘦”加权颜值分出现“舒适”“舒服”加权舒适度出现“起球”“变形”等反向降低耐穿度。5. 结果解读到底哪一款数据上更好看5.1 数据说话高满意度款式的共性特征跑完全流程后我的模拟数据给出了一个非常清晰的结论综合情感分最高的不是最贵的也不是印花款而是60D哑光基础款。它的平均情感分达到0.85左右评论里高频出现“显瘦、细腻、舒服、高级”。横向对比另一款价格高出50%的印花款虽然颜值关键词出现率高但因为“掉裆”“略滑”等词拉低了耐穿度整体满意度并不如基础款。从数据里提炼出的共性特征是这样的好评款通常具备D数适中60D到80D、氨纶含量高弹性贴身、不透光、腰头设计合理这四个特点。其中“氨纶比例”在材质文本里反复出现凡是评论中出现“弹性好、回弹、贴身”的商品详情页材质栏里氨纶比例基本都在18%至25%区间。这说明材质参数可以直接作为事前筛选指标不需要等评论出来再做判断。反面特征同样明显。出现“掉裆”的款式高度集中在脚口设计过宽或者材质偏滑的类型出现“起球”的大多是锦纶含量偏高而氨纶比例不足15%的款式。这些都可以在做推荐前通过属性字段直接过滤掉。5.2 用数据结论反推选购建议基于分析我把推荐策略整理成一个决策参考表结合不同穿着场景给意见场景推荐D数材质偏好价格参考区间重点看评论关键词春秋通勤日常50D-60D锦纶85%氨纶15%左右20-35元显瘦、自然、舒适秋冬保暖穿搭80D-120D锦纶80%氨纶20%以上30-60元不透、不掉裆、高弹约会穿搭偏颜值60D-80D哑光或有暗纹设计30-50元高级、质感、颜值高长时间走路通勤多层压力、带硅胶防滑条氨纶20%以上注意脚口设计50元以上不掉裆、不勒、防滑注意这个表不是拍脑袋写的它完全是从词频和情感分的组合里反推出来的规则。比如“长时间走路”场景下“掉裆”这个词的负面权重非常高一旦出现基本会让情感分跌破0.35所以推荐时优先关注脚口防滑设计。我自己拿到这个结论之后恍然大悟以前总觉得“贵的就是好的”但数据分析告诉我“合适参数叠加用户验证”才是更稳的筛选逻辑。5.3 这份分析的价值边界和局限性我必须坦白说数据分析能给出统计意义上的“大概率满意”但绝不能保证一个个体的主观感受。“好看”这件事依然有极强的个人偏好差异比如有人喜欢哑光自然款有人就喜欢光泽感明显的这些数据无法给出唯一正确答案。另外我的模拟数据样本量非常小真实商品评论之间的噪声也远高于模拟文本。如果你要真正复现这个项目建议至少采集300到500条有效评论并清洗停用词否则结果会有很大随机性。最终下单之前还是要看实物图、看尺码表、和对方交流偏好数据只能帮你缩小范围不能替你做最终拍板。6. 实际操作中遇到的坑与排查技巧6.1 中文相关报错合集这个项目几乎所有新手会踩的坑集中在中文处理上。第一个是matplotlib画图标题出现方块或乱码原因是系统当前字体不支持中文。排查方法很简单先执行plt.rcParams[font.sans-serif]打印当前字体列表确认中文字体是否在列表里然后手动指定为中文字体名称或绝对路径。第二个是wordcloud生成的图片中文全部变方框。这个即使你设置了plt.rcParams也没用因为wordcloud内部使用默认字体和matplotlib完全独立。必须在WordCloud构造时传入font_path参数指向一个中文字体文件否则它按字符编码找字型很多字形它没有。第三个是CSV导入pandas后中文乱码。读取时建议直接用encodingutf-8-sig而不是utf-8因为Windows下Excel保存的CSV会带BOM头普通utf-8读取会把\ufeff带进第一列列名。另外如果你的评论数据是从网页抓下来的大概率会遇到网页编码是GBK或GB2312的情况requests里resp.encoding gbk或者gb18030。6.2 情感分析误判的排查情感分析最大的问题不是代码报错而是结果不合理但没有报错。我这次就发现了SnowNLP对“绝绝子”判断为0.2分偏负面但人眼看它明显是强烈好评。这种问题靠调参解决不了只能从数据角度补偿。我的解决办法是引入自定义情感词典并且针对高频误判词生成一份“覆盖词表”。具体做法是先分完词把TOP50高频词打印出来人工过一遍标记正负向把标记结果保存成本地JSON然后在评分函数里优先使用人工标记结果。这个排查过程看起来费时间实际上非常值得它能让你明白模型的边界在哪也能让你更清楚自己数据里到底哪些词才是关键。TextBlob、SnowNLP这类模型本质上是基于电商通用语料训练的它分得清“好”“差”但分不清“不掉裆”这种带否定后缀的领域词。我在测试中明确发现包含“不掉裆”的评论被SnowNLP打成了0.4因为“掉”字被识别为负面。我的自定义词典直接对“不掉裆”整体加正向权重才把评分拉回来。6.3 为什么我建议跑通一个最小闭环再扩展这个项目看着简单但如果你真的想从零写一遍别一上来就追求把所有功能全部做完。我强烈推荐先构造一个只有几十条数据的小样本把“读数据→分词→情感打分→画出一张图”的最小闭环跑通。这个闭环大约半小时可以搞定它能帮你在第一时间暴露编码、分词、可视化这些最基层的问题。最小闭环跑通后再逐步加功能加更多商品、加更多字段、加更复杂的情感词典、接入真实数据、做成可视化看板。我自己做复杂数据项目时一直用这个方法效果远比一次性写完再debug要好。它能确保你每一步看到的输出都是可验证的不会出现最后一步才发现前面某个环节错到底的情况。7. 写在最后的一些个人体会这个项目做完之后我最大的感受是数据分析不一定非得用在股票预测或者用户增长这种宏大场景里。生活里的很多小决定只要涉及比较和选择本质上都可以用类似的思路处理。用Python给女友挑黑丝这件事表面看是搞笑实际走一遍下来文本清洗、分词、情感打分、可视化这些基本功全练到了。最后分享一个我自己的小经验数据模型给出的结论永远只能是“候选集”真正重要的还是沟通。我跑完代码后拿数据推荐的款式去问对方意见结果被一句“我更喜欢另一家的”直接推翻。但这个过程让我学会了怎么用评论里的关键词去理解她的偏好后续再挑东西就准了很多。数据是帮你缩小搜索范围的不是替你做决定的。如果你也想跑这个项目我建议从模拟数据入手然后结合你日常关注的商品去扩展。过程中遇到任何报错先把报错信息完整贴出来确认字段名、编码格式、解释器路径这三个最常出问题的环节绝大多数问题都能解决。玩得开心。