Python电商评论情感分析：从数据清洗到逻辑回归的完整实战

简介面向计算机、自动化等专业学生及从业者这是一份以电商平台产品评论为对象的情感分析课程大作业完整源码包。项目覆盖评论采集与清洗、情感倾向打分、关键词提取、可视化展示等流程并基于Streamlit搭建交互界面适合用作品类分析、毕业设计或期末课程设计也可作为后续扩展评论舆情系统的基线工程。压缩包约53.95MB含1380个文件以Python脚本478个py、评论数据237个csv、说明文本178个txt和可视化页面125个html为主另附模型文件、配置文件与依赖环境文件目录按框架、数据、模型、界面拆分便于快速定位和调试。运行入口为streamlit run ./Comment_analysis/Streamlit/streamlitEXP.py。已有1697人学习下载。源码附项目说明、开发文档及多组商品评论样例数据涵盖数据训练集/测试集划分、评分与评论内容不一致处理、不同品牌售后关键词对比、词云与LDA可视化等实践细节能帮助读者理解从数据到情感结论的完整链路并快速改造复用。1. 课程大作业里的电商评论情感分析这个 zip 该有什么、能做到什么程度拿到“基于 Python 的电商产品评论数据情感分析源码项目说明课程大作业.zip”这个标题时多数人第一反应是解压、装环境、跑通、交差。但一个真正做得实的课程项目不会只靠一个模型文件撑起来。它至少包含三样东西能重复运行的源码、一份说得清结论的项目说明以及一套经得起老师追问的评估逻辑。电商评论情感分析的本质是短文本分类任务输入是“商品质量没问题客服态度太差”这种口语化文本输出是正面、负面或中性的判断及其置信度。它的难点不在模型本身而在数据清洗、标签构造和结论解释。这篇笔记就从课程大作业的角度把从数据到答辩的完整链路拆开讲让你拿到源码后知道每一步在做什么也能自己重写一版。2. 先定方案再动手词典、机器学习和深度模型的选型与推荐组合2.1 三种主流路线的效果边界与课程作业适配电商评论情感分析有三条技术路线课程作业里抄哪条都有坑。第一类是词典法代表是 SnowNLP 和自己维护的正负情感词表对句子做加权求和。优点是完全可解释答辩时能一行行指出为什么判定为负面缺点是电商评论口语化严重“绝绝子”“踩雷”这类网络词词典里没有否定词反转、程度副词这些逻辑稍不注意分数就跑偏。词典法适合当基线模型不适合当主打模型。第二类是传统机器学习TF-IDF 或 Word2Vec 把文本转成向量喂给逻辑回归或线性 SVM。在几千到几万条标注数据上效果稳定CPU 就能跑训练时间以秒计。这是课程作业的主流路线也是本文后面实操部分的主线。第三类是深度模型TextCNN、BiLSTM 或 BERT 系模型精度上限更高但课程作业往往没有预算BERT 需要下载几百 MB 预训练权重换台电脑可能连不上网答辩时可解释性也差。常见做法是用它做扩展对比而不是当主结果。路线代表方法数据量要求可解释性计算成本课程作业适配度词典/规则SnowNLP、自建情感词表可无监督很强低基线模型传统机器学习TF-IDF 逻辑回归 / SVM几百条以上较强低优选主模型深度学习TextCNN / BERT几千条以上弱高GPU/大内存对照实验 / 加分项为什么不直接照搬深度模型的源码课程作业评审最常问“为什么用这个模型”“改个参数会怎样”。逻辑回归的正则化系数、特征维度、类别权重谁都能解释清楚BERT 几乎成了黑匣子只会跑加载脚本答不上来。这是血泪经验也是给所有接手别人大作业源码的人第一条建议先判断方案再决定投入多少精力。2.2 揭盖看 zip先判断源码依赖和数据结构拿到 zip 先不用急着装环境。工程里的习惯是先看文件清单判断它是什么方案再决定怎么做。下面这五条命令不解决任何模型问题但能让你 30 秒内判断出这是一个能复现的作业还是一个只有 README 的空壳。# 1. 先看压缩包里有什么重点找数据文件和模型文件 unzip -l 基于python的电商产品评论数据情感分析源码项目说明(课程大作业).zip # 2. 解压后看 data/model 目录体积权重文件几百 MB 大概率是深度学习 du -sh data/ model/ 2/dev/null || ls -lh # 3. 扫依赖判断用的是 jiebasklearn 还是 torchtransformers cat requirements.txt 2/dev/null || grep -rhE ^(import|from) --include*.py . | sort -u # 4. 看数据表头确认评论字段和评分字段是否存在 head -5 data/*.csv 2/dev/null # 5. 看项目说明写了哪些运行命令 grep -nE python |运行|train|predict README.md 2/dev/null | head -20这组命令的读取逻辑分三层。第一层 unzip -l 确认 zip 里是否真的带上了数据集和模型文件没有数据的“源码包”意味着分数主要在方案设计上数据得自己构造或找公开数据集。第二层 du -sh 判断模型权重是否完整出现几百 MB 的文件大概率是 BERT 或预训练词向量这类代码在无 GPU 机器上会跑不动全是几十 KB 的.pkl则是传统机器学习路线按后面流程走就没有硬件压力。第三层看依赖如果 grep 结果里出现 torch、transformers就要注意版本兼容问题如果是 jieba、sklearn、pandas那这篇笔记后面的内容对你完全适用。2.3 推荐组合方案词典基线加浅层模型标签采用评分投影说完判断方法给一个课程作业里最稳的组合方案。第一步构造标签数据来源一般是带 user_id、product_id、评分 1 到 5 星、评论正文的 CSV。很多公开数据集已经给了情感标签没有标签时常见做法是“评分投影”4 星及以上算正面2 星及以下算负面3 星删除。为什么删 3 星因为“还可以”这类表达语义模糊负面强度不足混进二分类会让模型在模糊样本上学到噪声。先剔掉 3 星保证正负类的语义纯度之后如果想扩展三分类再单独把 3 星作为中性类加回来。第二步跑词典基线用最简单的情感词表对每条评论统计正负词出现次数谁多判谁。这一步通常能拿到 0.60 到 0.70 的准确率作为后续模型效果的参考基线。第三步是本文第四章的主流程TF-IDF 加逻辑回归。第四步是有精力才做的 BERT 对照实验。这四步的优先级不能反主模型没跑通之前深度模型只会拖慢进度。课程大作业评分的核心矛盾不是模型多先进而是“你的实验流程是否完整、结论是否可信”。3. 把评论清洗成能用的语料去重、分词与正负标签构造附代码3.1 电商评论的脏数据和清洗顺序电商产品评论是自然语言处理里最脏的数据之一。编码层面有不可见字符、全角空格、乱码内容层面有“京东自营”“天猫”这类与情感无关的套话还有大量重复评论同一个用户在不同购买批次里复制同一段好评。清洗顺序我一般先做字符清洗、再做文本去重、最后再分词。顺序反了会出问题比如重复评论没去净就做分词高频重复文本会被当成强特征分类器学到的不是情感倾向而是“这段话出现过几次”。实际处理中会遇到三类典型字符污染。第一类是 HTML 标签和 URL爬虫抓下来的原始数据里span这类标签直接混在正文里。第二类是全角字符和不可见空格\u3000、\xa0在打印时看不出区别但会让同一句话在向量空间里变成两个不同文本。第三类是表情符号和颜文字。简单清洗可以直接把 emoji 删掉进阶做法是保留因为“生气”“哭”这类表情本身就是情感信号。常见做法是把 emoji 按情感倾向映射成正面、负面分数再作为一列额外特征喂给模型。先用正则把硬污染清掉再考虑语义层面的噪声。3.2 清洗函数与去重逻辑附完整代码下面是一段可以直接放进项目源码的清洗函数按“字符清洗、去重、短评过滤”三步走。import re import pandas as pd def clean_text(text: str) - str: 电商评论文本清洗从原始字符串到干净字符串 # 1. 去 HTML 标签与 URL课程作业里最常见的污染源 text re.sub(r[^], , text) text re.sub(rhttp\S|www\.\S, , text) # 2. 去不可见字符与全角空格 text text.replace(\u3000, ).replace(\xa0, ) text re.sub(r[\x00-\x1f\x7f-\x9f], , text) # 3. 全角转半角只处理全角 ASCII不碰中文标点 text .join( chr(ord(c) - 0xFEE0) if \uFF01 c \uFF5E else c for c in text ) # 4. 去掉平台套话和无效占位内容 text re.sub(r(京东|天猫|淘宝)自营, , text) text re.sub(r此用户未填写评价内容, , text) return text.strip() def dedup_reviews(df: pd.DataFrame, text_col: str) - pd.DataFrame: 精确去重 短评过滤防止灌水评论影响特征统计 df df.drop_duplicates(subset[text_col]) # 完全相同的评论只留一条 df df[df[text_col].str.len() 6] # 6字以内的评论信息量太低 return df.reset_index(dropTrue)这个清洗函数的参数设计有几个要点。全角转半角的偏移量规则只覆盖全角 ASCII 区\uFF01到\uFF5E中文标点如“”“。”不在这段区间不会被误转所以可以直接对所有字符套用。“京东自营”这类平台词要放在评分投影和标签构造之前清理否则负面评论里“京东自营物流太慢”会被错误归一成“物流太慢”丢掉平台维度信息。最小长度阈值 6 按语料情况调整我试过 4 到 10在课程作业这个体量上设为 6 比较均衡太短会把“差评”这种两个字的有效评价过滤掉太长又会丢掉大量短评样本。去重这里只用了精确去重没有上 MinHash 或 SimHash几千到几万条的数据量用 drop_duplicates 就够模糊去重引入的阈值参数反而让源码更难解释。3.3 分词、停用词与自定义词典的参数细节清洗之后是分词。中文分词用 jieba 是最常见的做法但电商场景有三个参数值得单独调。第一是自定义词典默认词库对“性价比”“快递员”这类词可能切成“性/价/比”或“快递/员”通过 add_word 把领域词固化成独立语义块能显著改善 TF-IDF 的特征质量。import jieba # 自定义词表电商场景的高频词不能被默认词库切散 jieba.add_word(性价比, freq20000, tagn) jieba.add_word(快递员, freq15000, tagn) jieba.add_word(客服, freq20000, tagn) jieba.add_word(回购, freq8000, tagv) # 停用词表加载 # 注意这里不要加载网上通用的“中文停用词表”直接套用 # 很多公开停用词表把“不、没、别、无”也删掉了会翻转情感极性 STOP_WORDS set(open(stopwords.txt, encodingutf-8).read().split()) def cut_review(text: str) - list: 分词并过滤停用词保留否定词 words jieba.lcut(text) return [w for w in words if w.strip() and w not in STOP_WORDS]jieba 的 freq 参数含义是词频优先级设太高会把正常句子里的组合强行并词设太低则不起作用。我一般先用默认词频跑一轮观察分词结果里有没有“性价比”被切散的情况再针对性调高。停用词表建议做成两个集合一个放“的、了、是、在、和”这类纯虚词另一个单独放否定词集合。清洗时虚词直接过滤否定词保留并作为特征参与后续建模。jieba.lcut返回 list默认模式就够用不需要开搜索引擎模式。词性过滤posseg在课程作业里收益不大还会把代码长度翻倍不建议加。4. 跑通最小建模链路TF-IDF 加逻辑回归附带训练与评估代码4.1 向量化参数怎么选ngram、特征维度与低频词阈值预处理完的语料是“词列表的列表”接下来转换成模型能吃的数值矩阵。首选特征是 TF-IDF相比纯词频它能惩罚“好”“东西”“这个”这类高频弱信号词让“客服差”“物流慢”这种承载情感的词拿到更高权重。三个必调参数是 ngram_range、max_features 和 min_df。ngram_range(1,2) 的意思是保留单个词加连续两词组合。电商评论里“不推荐”“质量差”这种双词组合的判别能力比单字强很多一阶二元组是性价比最高的选择。max_features 设置在 8000 左右课程作业语料通常词表两万到五万取八千到一万效果稳定太大一方面让稀疏矩阵膨胀另一方面把低频噪声词也纳入了特征空间。min_df2 或 5 控制最低出现文档数min_df5 能过滤只在一条评论里出现的特例词对防过拟合有明显帮助。sublinear_tfTrue 是对词频做对数缩放弱化长评论里反复出现的同一词对特征的压制这个参数在短文本分类上几乎总是正向收益。4.2 训练主流程划分、向量化、逻辑回归与模型保存下面这段是课程作业的核心训练代码可以直接放进 train.py 里跑。from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split, cross_val_score from sklearn.metrics import classification_report import joblib import pandas as pd # 假设 df 已包含 text_clean 和 label 两列 df pd.read_csv(data/reviews_clean.csv) X_train, X_test, y_train, y_test train_test_split( df[text_clean], df[label], test_size0.2, random_state42, stratifydf[label] ) vectorizer TfidfVectorizer( ngram_range(1, 2), max_features8000, min_df2, sublinear_tfTrue ) # 训练集 fit_transform测试集只能 transform避免数据泄露 X_train_vec vectorizer.fit_transform(X_train) X_test_vec vectorizer.transform(X_test) model LogisticRegression( C1.0, class_weightbalanced, solverliblinear, random_state42, max_iter1000 ) model.fit(X_train_vec, y_train) y_pred model.predict(X_test_vec) print(classification_report(y_test, y_pred, target_names[负面, 正面])) # 交叉验证防止单次划分结果偶然 scores cross_val_score(model, X_train_vec, y_train, cv5, scoringf1_macro) print(fCV F1: {scores.mean():.3f} ± {scores.std():.3f}) # 保存模型和向量化器predict 阶段按顺序加载 joblib.dump(vectorizer, output/vectorizer.pkl) joblib.dump(model, output/model.pkl)这段代码里每行都有明确作用。train_test_split 的 stratify 参数让正负比例在划分后与原始数据一致防止测试集恰好全是好评导致准确率虚高。TfidfVectorizer 的 fit_transform 只在上训练集测试集必须调用 transform这是防止数据泄露最关键的一步——如果把测试集文本也用于计算 IDF等价于把测试集信息偷进了训练过程测试指标会虚高 3 到 5 个百分点。class_weightbalanced 针对评论数据常见的“好评远多于差评”问题给少数类别更高的错分代价solver 用 liblinear这是逻辑回归里能配合 class_weight 的线性求解器数据量不大时训练速度快且稳定。joblib 保存顺序不能反预测阶段必须先加载 vectorizer 再加载 model因为文本要先过同样的向量化变换才能进模型。4.3 评估解读不看准确率看混淆矩阵和 F1分类报告打出来后不要只看第一行 accuracy。电商评论场景里负面评论的 precision 低表示大量好评被误判成差评售后系统会错误触发负面评论的 recall 低则代表真正的差评里有相当一部分没被查出来。具体优化哪个指标取决于场景如果做舆情监控recall 优先宁可多报也不能漏如果做自动回复分流precision 优先误判会把优质客户送进投诉流程。课堂上最稳妥的做法是同时报告 precision、recall、f1_macro 三项画一张混淆矩阵图用一句话说明漏判集中在哪一类。模型选择上逻辑回归在这个任务里效果往往超过预期。文本特征高维稀疏逻辑回归直接学线性决策面开销低配合 class_weight 后 F1 很快能到 0.85 左右这个成绩在课程作业里完全够用。不需要上 xgboost理由是可解释性差一截且调参时间成本高。逻辑回归的 C 值默认 1.0如果出现过拟合迹象把 C 调小到 0.1 会让权重更平滑如果欠拟合调大到 10。4.4 把预测封装成独立模块答辩演示时最怕老师现场输入一条评论你只能跑训练脚本。常见做法是单独写一个 predict.py加载训练好的模型做实时预测。import joblib def predict_sentiment(text: str) - dict: 输入评论文本输出情感标签和置信度 vec joblib.load(output/vectorizer.pkl) model joblib.load(output/model.pkl) cleaned clean_text(text) x vec.transform([cleaned]) prob_positive model.predict_proba(x)[0][1] label 正面 if prob_positive 0.5 else 负面 return {label: label, confidence: round(prob_positive, 4)} if __name__ __main__: print(predict_sentiment(这款耳机音质不错但戴久了耳朵疼))这个模块的作用是让“训练”和“预测”解耦。项目说明里必须写清楚运行顺序先跑 train.py 生成 output 目录下的两个 pkl 文件再跑 predict.py否则别人拿到手会报模型文件不存在。置信度输出可以配合一个阈值逻辑当概率落在 0.45 到 0.55 之间时不输出硬判断而是返回“中性/不确定”。课程答辩时主动说明“置信度低的样本我不做硬分类”比硬着头皮猜要专业得多。5. 课程作业避坑实录数据泄露、标签失衡、否定词误删与不可复现5.1 数据泄露测试集偷偷混入训练集现象训练准确率 0.71测试集准确率突然 0.92指标涨得莫名其妙答辩时也说不出泛化能力为什么能提升这么多。原因多半是全局去重或全局向量化。比如先把整个数据集去掉重复评论再切分训练测试集测试集里大量文本和训练集重复或者对全量语料做了 fit_transform 再划分IDF 统计已经偷看了测试集的分布。解决切分前做“文本内容去重”但保留原始索引验证脚本里用交集计算测试集和训练集的文本重合度。严格遵循“先划分再预处理”的顺序向量化时训练集 fit_transform、测试集只 transform并把这个顺序写进项目说明。5.2 标签失衡90% 的好评率让准确率虚胖现象分类报告里准确率 0.90但负面评论的 precision 和 recall 全是 0模型把整批测试集都预测成了好评。原因原始数据正负比例约 9:1模型学到的最优策略就是“无脑预测好评”因为这样做准确率也有 90%而真正该关注的负面评论全部漏掉了。解决切分时加 stratify模型里加 class_weightbalanced评估指标改用 f1_macro 而不是 accuracy。如果 balanced 后负面 recall 仍然偏低把训练数据下采样到正负比例接近 1:1模型稳定后再用原始数据分布做阈值校正。报告里必须写明“准确率 0.90 在类别不平衡下没有参考价值”这句话本身就是加分项。5.3 停用词误删否定词把情绪直接反向现象模型把“不太满意”判成负面是对的把“不算太差”也判成负面但人工判断这句其实是偏中性的。测试集里这类样本错了一大批。原因网上公开的中文停用词表为了通用性把“不”“没”“别”“无”这些否定词也放进了停用集合。分词后“不”“没”被过滤剩下“满意”“太差”这类核心词否定语义彻底丢失。解决清洗时把否定词单独拆出来。我一般会维护两个文件stopwords.txt 里只放“的、了、是、在、和”这类纯虚词negation_words.txt 里放“不、没、别、无、未、莫”等否定词。分词后否定词不过滤并让 ngram_range(1,2) 保留“不满意”这样的双词组合。这个坑在课程作业里出现频率极高属于典型的情感分析翻车点。5.4 随机种子没固定结果不可复现现象昨天训练准确率 0.85今天重新跑变成 0.82项目说明里写的 0.86 怎么都复现不出来答辩现场重跑果然翻车。原因train_test_split 和模型初始化没有固定随机种子jieba 词典加载顺序每次可能不同算法内部的随机迭代步数也不一致任何一环变化都会影响最终划分和收敛结果。解决代码开头固定四样东西——Python 哈希种子、random.seed、numpy.seed、sklearn 的 random_state 参数。训练完用 pip freeze 把当前环境的依赖版本记录到 requirements.txtscikit-learn、jieba、pandas 全部锁死到具体版本号不同版本 jieba 的词典内容有差异分词结果不同特征矩阵不同指标自然对不上。项目说明里写的指标必须以固定随机种子下复现的值为准不要写某次调参偶然跑出来的最优值。5.5 模型路径硬编码换电脑就找不着文件现象项目说明写“运行 predict.py 即可”别人解压后双击却报错 No such file or directory打开代码发现模型路径写的是“/Users/某个用户名/Desktop/model.pkl”。原因本机开发时用了绝对路径打包时没有改成相对路径。作业提交后文件结构变化路径自然失效。解决用相对于项目根目录的路径写成os.path.join(os.path.dirname(__file__), output, model.pkl)这样无论压缩包解压到哪都能找到模型。README 里还要写明“如果缺少 output 目录先运行 python train.py 生成模型再运行 predict.py”避免用户上手第一步就报错。6. 让答辩更稳的收尾技巧可视化、自检清单与项目说明写法6.1 可视化三件套词云、混淆矩阵、情感分布图可视化别贪多三张图足够撑起答辩。第一张是正负面分开的词云展示两类关键词差异比如正面集中在“质量、物流、实惠”负面集中在“客服、退货、破损”这就是你的分析结论。第二张是混淆矩阵用来讲漏判错判集中在哪类错误配合 4.3 节的评估指标体系讲。第三张按商品 ID 聚合情感分布展示模型如何落到业务视角。每张图配两三句话解读图表本身不会说话答辩时老师的注意力都在你的解读上。6.2 项目说明的结构与参数表项目说明是这类课程作业的灵魂我习惯按这个骨架写背景与数据来源、标签构造规则评分投影、预处理细节、模型选择理由与参数表、实验结果、运行步骤。运行步骤必须具体到pip install -r requirements.txt、python train.py、python predict.py这三个命令行并写明先后顺序。参数表用小表格列出 C 值、class_weight、max_features、ngram_range 四项每个参数附一句话说明为什么这么设。答辩提问最常落在参数表上表里的每个值都必须是代码里实际生效的不能从别的项目里复制一份。6.3 效果自检20 条盲测样本与错误记录交作业前最后一个动作随机抽 20 条测试集评论人工标一遍再与模型输出比对记录错误类型是“否定词反转没识别”“网络新词未收录”还是“物流状态描述被误判”。这份记录比单纯讲调参有说服力。如果时间富余加一个中文 BERT 微调做对照实验——小样本下 BERT 不一定赢过 TF-IDF 加逻辑回归但你在报告里写“深度模型在该数据量下未显著超过浅层模型且推理成本更高”这句客观结论本身就是加分项。我自己的习惯是把错误记录写进项目说明最后一节哪怕只有七八行整个作业就从“交差”变成了“真实实验”。希望帮到你。本文还有配套的精品资源点击获取