图卷积神经网络实战：基于猫眼数据的虚假影评水军检测

简介Python基于图卷积神经网络的虚假影评水军检测研究项目是一套面向毕业设计、期末大作业和课程设计的高分参考项目包含全部Python源码与真实猫眼影评数据集项目聚焦图卷积网络GCN在虚假评论检测中的应用覆盖数据处理、图结构构建、模型训练与结果评估的完整链路。资源包共26个文件以9个Python源码脚本、8个CSV数据文件为主体另含BERT预训练配置与词表、说明文档、训练日志等整体约15.03MB结构清晰便于快速部署复现在内置猫眼长评、电影类型、片单等数据集上学习者可直接运行源码观察模型训练与检测效果理解用户评论关系图如何辅助识别水军评论。目前已有240人学习浏览。对希望快速完成高质量项目以用于答辩或展示的学生而言这份代码组织规范、易读性较好是兼顾算法理解与工程实践的不错选择。1. 为什么用图卷积神经网络做虚假影评水军检测仅靠评论内容判断水军是条死路。专业水军的文案会模仿真实观众语气情感分布与正常评论几乎无法区分传统 NLP 分类器很容易被骗。水军真正藏不住的是社交关系相近时间段里集中评论同一部电影互相点赞回复形成社区化的共现网络。把用户、影评、电影作为节点评论和共现作为边问题就从文本分类变成图节点分类。图卷积神经网络GCN通过消息传递让每个用户聚合邻居特征水军社区节点会学到相似表示从而被精准识别。这套项目基于猫眼长评数据用 BERT 编码文本GCN 做社区聚合最终输出用户是否是水军的概率。这是一套基于 Python 的完整图卷积神经网络检测源码附带整理好的数据集配置好路径即可训练适合毕业设计或图神经网络入门。下文按数据构图、模型实现、训练评估、二次开发四部分拆解。2. 数据解析与异构图构建猫眼长评数据集如何转成图输入GCN 需要的是“边”不是二维表格。原始 CSV 进入训练前必须先做数据解析和构图。项目里这部分逻辑集中在maoyan目录与graph_section模块data_loader.py负责读入表格graph_section/utils.py负责把表格关系转成图的三元组。很多初学者直接把评论文本塞进 GCN却不构图模型退化成普通文本分类器图卷积的优势完全没有发挥。因此构图之前的字段梳理比调参更值得花时间。2.1 主表与辅助表字段关系maoyan_long_comments.csv是长评主表每一行对应一条影评字段通常包含影评 ID、用户 ID、电影 ID、评分、评论内容、发布时间、点赞数。电影名单.csv提供电影名和上映年份电影类型.csv给出电影的类型标签这两张表用来补充“电影”节点的属性。猫眼长评总表.csv是主表的聚合视图便于直接按电影或用户做统计。data_loader.py中通常用 pandas 读取这些文件再通过字典把 ID 映射成连续的索引方便后续构造邻接矩阵、BERT 特征矩阵和标签向量。以用户节点为例真实 ID 可能是字符串图神经网络只能处理连续整数索引。映射完成后评论内容送给 BERT 编码器统计维度送给特征拼接层最终每个节点都变成等长的稠密向量。这里有一点容易踩坑电影类型.csv中的类型字段是多标签比如一部电影同时属于“剧情”和“悬疑”不能直接 one-hot 后当单标签用应该用多热编码或者做单独的边属性处理。graph_section/utils.py中一般会提供这些编码函数读 CSV 后调用一下即可。2.2 BERT 文本特征把评论文本转成节点初始向量bert_pretrain目录放的是中文 BERT 预训练模型文件和词典bert-base-chinese-vocab.txt对应词表bert_config.json配置模型结构。评论文本先经过分词器再输入 BERT 得到 768 维向量作为“评论”节点的初始特征。用户和电影节点没有天然文本常见做法是把该用户或该电影关联评论向量做平均池化再与用户统计特征拼接。下面的代码是评论向量提取的核心逻辑# feature_extractor.py 简化示意 from transformers import BertTokenizer, BertModel tokenizer BertTokenizer.from_pretrained(bert_pretrain/bert-base-chinese-vocab.txt) bert_model BertModel.from_pretrained(bert_pretrain) def comment_to_vector(text, max_len128): inputs tokenizer( text, max_lengthmax_len, truncationTrue, paddingmax_length, return_tensorspt, ) with torch.no_grad(): outputs bert_model(**inputs) # 使用 [CLS] 位置的输出作为整条评论的语义表示 return outputs.pooler_output.squeeze(0).numpy()max_len是文本截断长度。长评中超过 128 字的部分会被截掉对水军检测影响不大因为水军特征往往集中在开头和结尾的关键词上但如果你把max_len调得过小比如 32模型的语义信息会明显不足调得过大GPU 显存消耗会成倍增加。BertTokenizer.from_pretrained从本地目录读取词表不要求联网这一点在离线部署时很关键。2.3 三类节点与四种边图规模控制的核心项目涉及的图包含用户、评论、电影三类节点。边则分为四种用户-评论的发表关系评论-电影的关联关系同一用户发表多条评论形成的用户-评论归属边以及用户-用户共现边。共现边的构造规则是同一个电影下两条评论发布时间差小于某个阈值且文本语义相似度高于阈值就认为这两个用户之间存在可疑协同关系。加上时间窗口和相似度阈值边数会从 O(n²) 降到线性级别图的存储和训练开销都大幅下降。下表是推荐的关系定义边类型源节点目标节点构造条件网络含义user_comment用户评论该用户发表该评论评论归属comment_movie评论电影评论文本出现在电影下评论对象user_user用户用户同一电影下评论时间窗口关联共现社区movie_type电影类型电影属于某类型类型属性构图时如果直接双重循环遍历所有用户数据量大时速度会很慢。实际工程中一般先按电影分组再在分组内做滑动窗口只比较时间相邻的评论避免全量笛卡尔积。graph_section模块的作用就是把这种过滤逻辑封装起来输出source, target, edge_type三元组最后交给data_loader.py生成稀疏邻接矩阵。这段代码不复杂但决定了后续 GCN 能感受到的社区规模值得优先阅读。3. GCN 模型实现model.py 与 graph_model.py 中的图卷积算子数据构图完成之后进入模型实现。项目里model.py主要负责整体分类结构graph_model.py封装了图卷积算子。理解 GCN 的核心是看懂邻居消息传递这一步每个节点的新表示等于自身变换后的特征加上邻居特征的加权和。水军检测中被同一批水军账号包围的用户节点经过一层 GCN 后就会吸收和它属于同一社区的信号。3.1 图卷积层的矩阵计算单层 GCN 的公式为 H σ(D⁻¹ᐟ² A D⁻¹ᐟ² H W)。A 是邻接矩阵D 是度矩阵W 是可学习的权重。对称归一化是为了防止度数大的节点在聚合时把特征尺度放得过大。在代码里通常直接写成矩阵乘法下面是自定义 GCN 层的简化实现# gcn_layer.py 简化实现 import torch.nn as nn class GCNLayer(nn.Module): def __init__(self, in_dim, out_dim, dropout0.5): super().__init__() self.linear nn.Linear(in_dim, out_dim) self.dropout nn.Dropout(dropout) def forward(self, x, adj_norm): # x: [num_nodes, in_dim] 节点特征矩阵 # adj_norm: [num_nodes, num_nodes] 对称归一化邻接矩阵 support self.dropout(self.linear(x)) out torch.mm(adj_norm, support) return torch.relu(out)torch.mm执行矩阵乘法等价于把每个节点的邻居特征加权求和。adj_norm在外部提前算好避免每次前向都重复归一化。这里需要在graph_section/utils.py中用度矩阵处理一次# utils.py 中的对称归一化邻接矩阵计算 import numpy as np def normalize_adj(adj): deg np.array(adj.sum(1)).flatten() deg_inv_sqrt np.power(deg, -0.5) deg_inv_sqrt[deg_inv_sqrt float(inf)] 0 return np.diag(deg_inv_sqrt) adj np.diag(deg_inv_sqrt)注意deg_inv_sqrt需要处理除零情况把度为 0 的孤立节点的逆开方置为 0否则相乘后会出现 NaN模型训练时 loss 会直接变成 nan。3.2 两层 GCN 的分类结构实际训练用的 GCN 通常只有两层输入维度是 BERT 特征 768隐藏层维度 256输出维度 2真实用户和水军。每个 GCN 层后面接 ReLU 激活和 Dropout最后一层再通过 LogSoftmax 输出概率分布。graph_model.py中定义的就是这个检测器结构# graph_model.py 检测器结构示意 import torch.nn as nn class WaterArmyGCN(nn.Module): def __init__(self, input_dim768, hidden_dim256, num_classes2, dropout0.5): super().__init__() self.conv1 GCNLayer(input_dim, hidden_dim, dropout) self.conv2 GCNLayer(hidden_dim, num_classes, dropout) def forward(self, x, adj_norm): h self.conv1(x, adj_norm) h self.conv2(h, adj_norm) return torch.log_softmax(h, dim-1)这个设计里把 BN 放在层与层之间也可以但水军图数据上Dropout 的效果通常比 BN 更明显因为图结构本身带来的噪声不是标准分布噪声BN 的均值和方差估计反而不稳定。如果隐藏层维度设置过大会导致过拟合设置过小则无法表达用户之间的复杂关系。256 是平衡后比较稳妥的取值config.py里可以直接改。3.3 隐含的过平滑风险GCN 层数不是越多越好。当层数增加到三层以上每个节点的感受野扩大到全图社区特征会被平均掉最后所有节点的表示趋同这就是过平滑问题。水军社区局部性强两层 GCN 已经足够覆盖一个包含几十个账号的水军团伙层数再多反而让真实用户被误判成水军。这也是graph_model.py默认两层的原因。若后续想在更大图上提升效果应优先考虑增加注意力机制或边类型区分而不是堆深网络。GCN 层数感受野范围典型现象1直接邻居表达能力有限难以覆盖社区2二阶邻居适合水军检测的默认选择3三阶邻居出现过平滑节点表示趋向一致选择层数时要结合图直径判断。如果用户到用户的最短路径大多为 2 跳两层 GCN 就能天然覆盖整个可疑社区路径更长时更应该考虑调整构图规则而不是生硬地增加图卷积层数。4. 训练配置与日志分析train.py、config.py 和 TensorBoard 输出训练阶段的核心入口是train.py所有路径和超参数集中放在config.py。训练结果会写入result(7.26).csv和result1(7.25).csv训练日志输出到log/events.out.tfevents.*文件。这一节讲怎么配参数、怎么看训练是否收敛、怎么根据日志定位问题。4.1 超参数配置项与作用config.py里的关键配置如下面的代码所示。路径类的配置特别容易被复制到其他机器时改错建议用相对路径而不是绝对路径。# config.py 中部分关键配置 class Config: # 数据与模型路径 bert_path bert_pretrain data_path maoyan/maoyan_long_comments.csv graph_path graph_section result_path result(7.26).csv # 训练超参数 batch_size 64 lr 1e-3 epochs 100 hidden_dim 256 dropout 0.5 weight_decay 5e-4 seed 42batch_size针对整体图而言因为图数据通常不按小 batch 拆分而是整图送入训练所以这里的 batch_size 更多是给特征缓存或负采样服务的。lr设为 1e-3 适合 GCN 这类浅层模型设置过大时 loss 会出现锯齿震荡。weight_decay是 L2 正则的权重用来抑制过大的图权重。seed固定随机种子才能让同类实验之间可对比否则每次训练结果都不一样。4.2 类别不平衡与损失函数水军数据集里真实用户数量远大于水军数量直接用交叉熵会让模型偏向多数类全部预测成“真实用户”也能获得很高准确率。train.py中一般会通过compute_class_weight给少数类更高的损失权重# train.py 中加权交叉熵的用法 from sklearn.utils.class_weight import compute_class_weight import numpy as np class_weight compute_class_weight( class_weightbalanced, classesnp.array([0, 1]), ytrain_labels ) ce_loss nn.CrossEntropyLoss( weighttorch.tensor(class_weight, dtypetorch.float32) )compute_class_weight会根据训练标签中 0 类与 1 类的数量比例自动算出权重。少数类样本越少权重越大。这样模型梯度在少数类上也会更明显避免被多数类淹没。评价指标同样不能只看准确率重点看 F1-score 和召回率因为漏掉一个水军带来的损失往往高于误伤一个真实用户。4.3 日志文件与收敛判断log/events.out.tfevents.1690784923.York.19112.0是 TensorBoard 的 events 文件数字部分是时间戳和主机信息不需要手动改动。train.py里用SummaryWriter写入标量训练结束后通过tensorboard --logdirlog查看曲线from torch.utils.tensorboard import SummaryWriter writer SummaryWriter(log) for epoch in range(config.epochs): train_loss train_one_epoch(epoch) val_f1 evaluate(epoch) writer.add_scalar(loss/train, train_loss, epoch) writer.add_scalar(f1/val, val_f1, epoch)画出来的 loss 曲线如果在前 10 个 epoch 快速下降然后在 30 个 epoch 附近趋于平滑说明学率合适如果表现为长周期锯齿大概率是学习率过大改为 5e-4 重跑即可。如果 F1 曲线在训练集上升但验证集停滞说明图结构遗漏了关键边需要回到graph_section检查共现边的阈值和相似度计算而不是盲目加 Dropout。现象可能原因排查顺序loss 为 NaN邻接矩阵含孤立节点或学习率过大检查 deg_inv_sqrt 的除零处理验证集 F1 不涨类别权重过低或图边过疏查看 class_weight降低共现阈值曲线震荡明显学习率过高lr 降到 5e-4 再试训练 F1 很高验证 F1 低过拟合GCN 层数过深减少层数或增大 Dropout这个表格对应的排查顺序在实际调试里非常管用。先看 loss 是否出现 NaN再看验证集 F1 是否有增长趋势最后看曲线是否震荡这样能省去大量无效调参时间。5. 二次开发迁移与验收技巧把自己数据跑进 GCN拿到源码后直接python train.py通常能跑通但换成自己的评论数据时最容易在字段名和图构建处失败。先推荐一个小技巧复制原数据集的结构只保留十几条评论做一次全流程前向传播确认图节点数、特征矩阵形状和张量维度都对得上再替换完整数据。5.1 字段名映射与 ID 连续性原项目按猫眼导出的字段名读取自定义数据需在data_loader.py里把 user_id、movie_id、comment_time 等列名映射对齐。正式跑之前建议新建一个 Python 3.8 环境按 requirements 安装 torch、pandas、transformers再执行python train.py。特别要注意 user_id 必须是连续的整数索引否则data_loader生成邻接矩阵时会出现越界。5.2 用迷你图验证前向传播建议先构造一个 6 个用户、6 条评论、3 部电影的小数据集手动设置其中两三个用户为水军运行单次前向并打印各层输出形状。代码片段如下# debug_forward.py x torch.randn(15, 768) # 6 用户 6 评论 3 电影 adj build_debug_adjacency() # 15x15 稀疏矩阵 model WaterArmyGCN(input_dim768, hidden_dim256) with torch.no_grad(): out model(x, adj) assert out.shape (15, 2)这段代码能验证模型结构没有维度错误也能确认build_debug_adjacency生成的邻接矩阵和特征矩阵节点顺序一致顺序不一致时GCN 会把用户的特征分给电影导致训练 loss 一直在高位。之后把真实数据填进去如果报错优先检查缺失的评论内容导致的空文本编码。5.3 验证结果的可解释性最后把result(7.26).csv中每个用户的预测分数和它关联的电影列表放在一起看水军用户往往会集中在少数几部电影下。如果预测结果和这个直觉矛盾大概率是图构建阶段共现边的阈值设置不合理。先用时间窗口 24 小时、文本相似度 0.8 这类保守参数重跑再逐步扩大窗口观察效果变化。本文还有配套的精品资源点击获取