Python+LSTM文本情感分析系统实战：从零搭建到部署

简介这份资源面向计算机相关专业学生与Python初学者提供一套基于LSTM的文本情感分析系统完整源码与配套资料可用于期末大作业、课程设计或毕业设计场景帮助读者理解循环神经网络在中文情感分类任务中的落地流程。压缩包共9个文件约7.15MB包含3个Python脚本分别负责模型训练、预测推理与对话交互另有训练数据、词表序列化文件、已训练模型权重、网络结构示意图及说明文档覆盖从数据预处理到模型调用的主要环节。目前已有140人学习下载。项目难度适中源码经本地编译验证可运行评审分达98分内容经助教审定读者可据此掌握LSTM建模思路、训练参数配置与预测接口调用方式并参考目录结构快速复现实验适合作为深度学习入门实践与课程作业的参考模板。1. 从零复现一个基于PythonLSTM的文本情感分析系统这套源码到底能跑出什么结果电商评论、弹幕、工单、问卷开放题这些场景里每天都会堆积大量短文本人工逐条判断正负面根本不现实。基于PythonLSTM的文本情感分析系统要解决的就是这件事把一句话丢进去输出它是正面还是负面以及对应的置信度。它适合三类人想拿一个完整项目练手的Python入门者、需要给业务加一个评论过滤模块的后端工程师、以及正在找源码笔记式学习材料的学生。这套方案的核心链路是「中文分词 → 词向量 → LSTM编码 → 全连接分类」不依赖任何在线接口本地就能跑通。下面我按自己实际搭过一遍的顺序把环境、数据、模型、训练、推理和踩坑全部拆开讲你照着做就能得到一个能对外演示的完整系统。2. 环境准备与数据管道把原始评论变成LSTM能吃的张量2.1 为什么选Python 3.8 PyTorch而不是TensorFlow先说选型理由这决定了你后面少走多少弯路。LSTM本身在PyTorch和TensorFlow里都有成熟实现但lstm模型代码的可读性上PyTorch的动态图写法更接近普通Python逻辑调试时能直接print中间张量对新手友好得多。我一般会锁定Python 3.8原因是这个版本对numpy、pandas、torch的兼容性最稳很多python安装numpy库的方法在3.8上不会遇到编译轮子缺失的问题。如果你用的是更新的Python版本torch一般也能装但个别依赖会提示版本冲突。安装命令如下建议单独建虚拟环境避免污染系统Python# 创建并激活虚拟环境 python -m venv senti_env source senti_env/bin/activate # Windows下用 senti_env\Scripts\activate # 安装核心依赖版本号是经过验证能互相兼容的组合 pip install torch1.13.1 pip install numpy1.24.3 pandas1.5.3 scikit-learn1.2.2 pip install jieba0.42.1逻辑说明torch负责模型和训练numpy/pandas做数据处理scikit-learn只用来切分数据集和算评估指标jieba做中文分词。参数上torch版本不要盲目追新1.13.x在CPU上跑LSTM的稳定性我实测最好如果你有NVIDIA显卡可以换成对应的cu118版本训练速度能快5到10倍但本文的代码在纯CPU上也能跑完只是慢一些。2.2 数据格式与清洗三个必须处理的脏数据问题情感分析的数据集通常是「文本,标签」两列标签用0表示负面、1表示正面。真实数据里一定会有这三类脏东西HTML标签残留、全角符号混排、以及长度极端短的无效样本。清洗脚本如下import re import pandas as pd def clean_text(text): # 去掉HTML标签评论爬下来常带br、p这类残留 text re.sub(r[^], , text) # 只保留中文、英文、数字和基本标点去掉表情和乱码 text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9。、], , text) # 压缩连续空格 text re.sub(r\s, , text).strip() return text df pd.read_csv(comments.csv) df[text] df[text].astype(str).apply(clean_text) # 过滤掉长度小于2的样本这种样本连分词都没意义 df df[df[text].str.len() 2] # 去重重复评论会让模型过拟合 df df.drop_duplicates(subset[text]) print(清洗后样本数:, len(df))逻辑说明正则第一步去标签第二步做字符白名单过滤这一步会误伤一些网络新词里的特殊符号但换来的是分词稳定性。参数上长度阈值设2是经验值设成5会丢掉「好评」「差评」这种极短但有效的样本。清洗完记得打印正负样本比例如果比例超过3:1后面训练时要加类别权重否则模型会偏向多数类。2.3 分词与词表构建jieba的两种模式和词表截断中文没有空格必须先分词。jieba有两种常用模式精确模式适合情感分析全模式会把「不太满意」切成「不太」「满意」反而破坏语义。import jieba from collections import Counter def tokenize(text): return jieba.lcut(text) df[tokens] df[text].apply(tokenize) # 统计词频构建词表 all_words [w for tokens in df[tokens] for w in tokens] word_count Counter(all_words) # 只保留出现次数2的词过滤低频噪声 vocab {w: i2 for i, (w, c) in enumerate(word_count.items()) if c 2} vocab[PAD] 0 # 填充符 vocab[UNK] 1 # 未知词 print(词表大小:, len(vocab))逻辑说明词表里0和1留给填充符和未知词真实词从2开始编号。参数上词频阈值设2是平衡点设1会让词表膨胀到几万嵌入层参数暴增且大部分是噪声设5会丢掉一些领域词。词表大小建议控制在2万以内超过这个数就该考虑用预训练词向量或者做子词切分。3. LSTM模型搭建从嵌入层到分类头的每一层参数怎么定3.1 嵌入层维度选128还是300嵌入层把词ID映射成稠密向量是模型理解语义的起点。维度太小表达力不够太大则参数多、易过拟合。对于几万条评论的数据集128维是稳妥选择如果你有几十万条数据可以上300维。import torch import torch.nn as nn class SentimentLSTM(nn.Module): def __init__(self, vocab_size, embed_dim128, hidden_dim128, num_layers1): super().__init__() # padding_idx0保证填充符不参与梯度更新 self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.lstm nn.LSTM( input_sizeembed_dim, hidden_sizehidden_dim, num_layersnum_layers, batch_firstTrue, # 输入格式为(batch, seq, feature) bidirectionalTrue # 双向能同时看前后文 ) self.dropout nn.Dropout(0.5) # 双向输出拼接后是hidden_dim*2 self.fc nn.Linear(hidden_dim * 2, 2) def forward(self, x): emb self.embedding(x) out, (h, c) self.lstm(emb) # 取最后一个时间步的输出作为句子表示 last out[:, -1, :] last self.dropout(last) return self.fc(last)逻辑说明padding_idx0很关键不加的话填充符也会被当成有意义的词参与训练。bidirectionalTrue让每个时间步的输出同时包含正向和反向的上下文信息对情感分析这种需要看整句的任务提升明显。dropout0.5是防过拟合的常规手段数据量小的时候可以提到0.6。3.2 序列填充与DataLoaderbatch内长度对齐的坑LSTM要求一个batch内所有序列长度一致所以要把短句补到该batch的最长长度。这里有个常见翻车点如果按全局最大长度填充会浪费大量计算正确做法是每个batch动态填充。from torch.utils.data import Dataset, DataLoader from torch.nn.utils.rnn import pad_sequence class SentimentDataset(Dataset): def __init__(self, texts, labels, vocab, max_len100): self.data [] for text, label in zip(texts, labels): ids [vocab.get(w, 1) for w in jieba.lcut(text)][:max_len] self.data.append((torch.tensor(ids), torch.tensor(label))) def __len__(self): return len(self.data) def __getitem__(self, idx): return self.data[idx] def collate_fn(batch): texts, labels zip(*batch) # pad_sequence自动补到本batch最长padding值用0 texts pad_sequence(texts, batch_firstTrue, padding_value0) return texts, torch.tensor(labels) dataset SentimentDataset(df[text].tolist(), df[label].tolist(), vocab) loader DataLoader(dataset, batch_size32, shuffleTrue, collate_fncollate_fn)逻辑说明max_len100截断长文本评论类数据99%在100字以内。collate_fn里用pad_sequence做动态填充比手动补到固定长度效率高。batch_size设32是CPU能承受的值有GPU可以上64或128。注意shuffleTrue只在训练集开验证集和测试集要关掉。3.3 训练循环学习率、早停和梯度裁剪训练部分要盯三个东西损失是否下降、验证集准确率是否提升、梯度是否爆炸。LSTM对梯度爆炸很敏感必须加梯度裁剪。from torch.optim import Adam from sklearn.metrics import accuracy_score device torch.device(cuda if torch.cuda.is_available() else cpu) model SentimentLSTM(len(vocab)).to(device) optimizer Adam(model.parameters(), lr1e-3) criterion nn.CrossEntropyLoss() best_acc 0 for epoch in range(10): model.train() for texts, labels in loader: texts, labels texts.to(device), labels.to(device) optimizer.zero_grad() logits model(texts) loss criterion(logits, labels) loss.backward() # 梯度裁剪防止LSTM梯度爆炸 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0) optimizer.step() # 每个epoch后在验证集上评估这里省略验证集代码 print(fepoch {epoch}, loss {loss.item():.4f})逻辑说明学习率1e-3是Adam的常用起点如果loss震荡就降到5e-4。clip_grad_norm_的max_norm设5.0这是LSTM训练的标配不加的话loss很容易变成nan。早停策略是验证集准确率连续3个epoch不提升就停能省不少时间。4. 推理与部署把模型变成能对外服务的接口4.1 单条推理加载权重和预处理必须一致训练完保存的是state_dict推理时要重建同样的模型结构再加载。这里最容易翻车的是预处理不一致——训练时用了清洗和分词推理时忘了结果输入分布对不上预测全错。def predict(text, model, vocab, max_len100): model.eval() # 预处理必须和训练时完全一致 text clean_text(text) ids [vocab.get(w, 1) for w in jieba.lcut(text)][:max_len] tensor torch.tensor(ids).unsqueeze(0).to(device) # 增加batch维度 with torch.no_grad(): logits model(tensor) prob torch.softmax(logits, dim1) pred torch.argmax(prob, dim1).item() return (正面 if pred 1 else 负面), prob[0][pred].item() # 保存和加载 torch.save(model.state_dict(), senti_lstm.pt) model.load_state_dict(torch.load(senti_lstm.pt, map_locationdevice)) print(predict(物流很快质量也不错, model, vocab))逻辑说明unsqueeze(0)是因为模型forward要求输入是(batch, seq)格式单条推理也要凑出batch维度。torch.no_grad()关闭梯度计算推理速度能快一倍。返回置信度是为了让业务方知道模型有多确定低于0.6的结果建议人工复核。4.2 批量推理与性能一次处理多条评论实际业务里往往是批量处理逐条循环太慢。可以把多条文本填充到同一长度后一次性推理。def batch_predict(texts, model, vocab, max_len100, batch_size64): model.eval() results [] for i in range(0, len(texts), batch_size): batch texts[i:ibatch_size] tensors [] for t in batch: ids [vocab.get(w, 1) for w in jieba.lcut(clean_text(t))][:max_len] tensors.append(torch.tensor(ids)) padded pad_sequence(tensors, batch_firstTrue, padding_value0).to(device) with torch.no_grad(): logits model(padded) preds torch.argmax(logits, dim1).tolist() results.extend(preds) return results逻辑说明batch_size设64是CPU上的平衡点GPU可以上256。注意这里每条文本单独分词再填充和训练时的collate_fn逻辑一致。如果要做成HTTP服务用Flask包一层即可但要注意模型加载一次后常驻内存不要每次请求都重新加载。5. 避坑与排查这套系统最容易翻车的5个地方5.1 现象训练loss正常下降但验证集准确率一直50%左右原因标签和文本没对齐或者词表构建时用了全部数据导致信息泄露。更隐蔽的一种是DataFrame索引在清洗后没重置df[label]和df[text]错位了。解决清洗后立刻执行df df.reset_index(dropTrue)然后在构建Dataset前打印前5条(text, label)人工核对。词表必须只用训练集构建验证集和测试集里的词如果不在词表就映射为UNK。5.2 现象推理时预测结果全是正面或全是负面原因类别不平衡导致模型学会了「全猜多数类」。比如负面样本只占10%模型全猜正面也有90%准确率但实际没用。解决在CrossEntropyLoss里加类别权重weighttorch.tensor([1.0, 9.0])少数类权重给大。或者对少数类做上采样。评估时不能只看准确率要看F1值。5.3 现象loss变成nan训练直接崩掉原因梯度爆炸LSTM在长序列上尤其容易发生。也可能是学习率设太大或者输入里有超长序列。解决加梯度裁剪clip_grad_norm_(model.parameters(), max_norm5.0)学习率降到1e-3以下max_len截断到100以内。如果还崩检查输入ID有没有超出词表范围vocab.get(w, 1)的默认值必须是UNK的ID。5.4 现象模型在测试集上表现好上线后效果差原因训练数据和真实数据分布不一致。比如训练用的是电商评论上线后处理的是客服工单用词风格完全不同。解决上线前用真实场景数据做一次小规模测试如果F1低于0.7需要用新数据微调。微调时学习率设小一点1e-4左右只训练几个epoch。5.5 现象分词结果不符合预期把关键情感词切碎了原因jieba默认词典不含领域词比如「绝绝子」「yyds」会被切错。解决用jieba.add_word()添加自定义词或者加载自定义词典jieba.load_userdict(dict.txt)。情感分析里否定词和程度副词尤其重要「不」「很」「太」这些词如果被切错情感极性直接反转。6. 进阶技巧用预训练词向量和注意力机制把准确率再提5个点前面搭的是从零训练的版本词向量是随机初始化的在小数据集上表达力有限。如果你想让效果再上一个台阶有两个改动性价比最高。第一个是用预训练词向量初始化嵌入层。常见做法是加载中文词向量文件把词表里能对上的词填进去对不上的保持随机。代码上就是在模型初始化后加一段def load_pretrained_embedding(model, vocab, vec_path, dim128): import numpy as np # 假设vec_path是文本格式词 向量值... pretrained {} with open(vec_path, r, encodingutf-8) as f: for line in f: parts line.strip().split() if len(parts) dim 1: pretrained[parts[0]] np.array(parts[1:], dtypenp.float32) hit 0 with torch.no_grad(): for word, idx in vocab.items(): if word in pretrained: model.embedding.weight[idx] torch.tensor(pretrained[word]) hit 1 print(f命中预训练词: {hit}/{len(vocab)}) return model逻辑说明命中率能到70%以上就值得用低于50%提升有限。加载后建议先冻结嵌入层训练1到2个epoch再解冻一起微调这样更稳。第二个是加注意力机制。LSTM最后一个时间步的输出其实丢掉了中间步的信息加一个注意力层让模型自己决定哪些词重要class AttentionLSTM(nn.Module): def __init__(self, vocab_size, embed_dim128, hidden_dim128): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.lstm nn.LSTM(embed_dim, hidden_dim, batch_firstTrue, bidirectionalTrue) self.attn nn.Linear(hidden_dim * 2, 1) self.fc nn.Linear(hidden_dim * 2, 2) def forward(self, x): emb self.embedding(x) out, _ self.lstm(emb) # (batch, seq, hidden*2) scores self.attn(out).squeeze(-1) # (batch, seq) # mask掉padding位置避免注意力分配到填充符上 mask (x ! 0).float() scores scores.masked_fill(mask 0, -1e9) weights torch.softmax(scores, dim1).unsqueeze(-1) context (out * weights).sum(dim1) # 加权求和 return self.fc(context)逻辑说明masked_fill把填充位置的注意力分数压到负无穷softmax后这些位置权重为0。context是所有时间步的加权和比只取最后一步信息更全。这个改动在3万条以上的数据集上通常能带来3到5个点的F1提升数据量小的时候提升不明显甚至可能过拟合。验证方法很简单固定随机种子同一份数据分别跑基线LSTM和AttentionLSTM对比测试集F1。如果提升不到1个点说明你的数据量还不够先把数据扩到5万条以上再试。我自己的习惯是每次改动只动一个变量改完立刻跑一次完整评估把结果记在表格里不然改多了根本不知道是哪个改动起了作用。这套系统从环境到部署大概两天能跑通真正花时间的是调参和清洗数据希望帮到你。本文还有配套的精品资源点击获取