哈工大社交网络分析实验包：从数据加载到社区发现的完整复现指南

简介这份资源是哈尔滨工业大学计算机课程实验中的社交网络分析项目面向高校计算机相关专业学生及需要完成课程设计的学习者帮助其将数据挖掘、图论与算法实现等理论落地为可运行代码。压缩包为zip格式整体约1.74MB内含源码与说明书等文件源码可用于阅读和调试算法实现说明书则梳理实验目的、方法与结论便于对照理解整体思路。实验覆盖社交网络分析的核心内容包括数据预处理、图的遍历、度与聚类系数等网络指标计算以及度中心性、接近中心性、介数中心性和特征向量中心性等中心性分析还涉及Louvain等社区检测算法与Gephi、Matplotlib等可视化工具的应用。目前已有153人学习适合希望提升编程能力、数据分析能力与复杂问题解决能力的学生参考也可作为课程报告与答辩准备的实践素材。1. 社交网络分析课程实验包从数据到社区发现的完整复现路径如果你正在做社交网络分析相关的课程设计或者需要一份能直接跑通的实验参考哈尔滨工业大学计算机课程实验的这份社交网络分析资源包值得拆开看看。它包含完整源码和配套说明书覆盖了从图数据构建、节点中心性计算到社区发现算法的典型实验链路。适合两类人一是正在选课设题目的本科生需要一份结构清晰、能改能跑的参考实现二是想快速验证社交网络分析算法效果的从业者拿它当基线代码省去搭框架的时间。我拿到包之后第一件事是看目录结构和依赖清单确认它用的是 Python 生态里最常见的 networkx 加 matplotlib 组合没有引入冷门库这意味着环境配置的翻车概率很低。说明书里对每个实验步骤有文字描述源码按功能模块分文件组织不是一坨脚本堆在一起这对后续改参数做对比实验很友好。2. 环境搭建与数据加载把实验跑起来的第一步2.1 依赖清单与虚拟环境配置拿到源码包后不要急着pip install全局装依赖先看说明书里列的库和版本。常见做法是建一个独立虚拟环境避免和你机器上已有的包版本打架。我一般用 venv 或者 conda 都行关键是隔离。# 创建虚拟环境Python 版本建议 3.8 以上 python -m venv sna_env # 激活环境Windows sna_env\Scripts\activate # 激活环境macOS / Linux source sna_env/bin/activate # 安装核心依赖版本以说明书为准这里给常见组合 pip install networkx2.8.8 matplotlib3.7.1 numpy1.24.3 pandas2.0.3这里 networkx 是图论计算的核心matplotlib 负责可视化numpy 和 pandas 处理数据读写。版本号不要照抄以你说明书里写的为准。如果说明书没写版本就装当前稳定版但要注意 networkx 3.x 和 2.x 在部分 API 上有差异比如nx.spring_layout的参数名变过遇到报错先查版本。提示如果安装 networkx 时编译报错大概率是缺少 C 编译工具链。Windows 上装个 Visual Studio Build ToolsmacOS 上xcode-select --install就能解决。2.2 数据文件的格式与加载方式社交网络分析实验的数据通常有两种来源一是边列表文件edge list每行两个节点 ID 表示一条边二是邻接矩阵文件。这份资源包里大概率两种都有示例。加载边列表的典型写法import networkx as nx import pandas as pd # 读取边列表假设文件是空格或逗号分隔 # 常见做法是先看前几行确认分隔符 edges pd.read_csv(data/edges.txt, sep , headerNone, names[source, target]) # 从 pandas DataFrame 构建无向图 G nx.from_pandas_edgelist(edges, source, target) # 打印图的基本信息确认加载成功 print(f节点数: {G.number_of_nodes()}) print(f边数: {G.number_of_edges()}) print(f平均度: {sum(dict(G.degree()).values()) / G.number_of_nodes():.2f})这段代码的逻辑是先用 pandas 读文件再用 networkx 的from_pandas_edgelist直接建图。参数source和target对应你文件里的列名如果列名不同就改这里。加载完一定要打印节点数和边数和说明书里给的数据规模对一下对不上说明分隔符或者编码有问题。常见坑是文件里有中文节点名读取时加encodingutf-8Windows 上有时要用gbk。2.3 图的基本属性检查加载完数据别直接跑算法先做一轮基本检查。看图的连通性、度分布、有没有自环和重复边。这些检查能帮你判断后续算法结果是否合理。# 检查是否有自环 self_loops list(nx.selfloop_edges(G)) print(f自环数量: {len(self_loops)}) # 检查连通分量 components list(nx.connected_components(G)) print(f连通分量数量: {len(components)}) print(f最大连通分量节点数: {len(max(components, keylen))}) # 度分布概览 degrees [d for n, d in G.degree()] print(f最大度: {max(degrees)}, 最小度: {min(degrees)})如果自环很多说明数据清洗没做好社交网络里自己关注自己通常没意义可以用G.remove_edges_from(self_loops)去掉。连通分量数量多说明图很稀疏社区发现算法可能效果不好需要先考虑是不是只取最大连通子图来做。这些检查步骤说明书里不一定写全但属于跑实验前的基本功。3. 中心性指标计算找到网络里的关键节点3.1 度中心性、介数中心性与接近中心性的实现中心性分析是社交网络实验里最常考的点。这份源码里应该实现了至少三种度中心性、介数中心性、接近中心性。度中心性最简单就是节点的邻居数量介数中心性衡量节点在最短路径上的枢纽程度接近中心性看节点到其他所有节点的平均距离。# 度中心性 degree_cent nx.degree_centrality(G) # 介数中心性计算量大大图慎用 betweenness_cent nx.betweenness_centrality(G) # 接近中心性 closeness_cent nx.closeness_centrality(G) # 取 top 5 关键节点 top_degree sorted(degree_cent.items(), keylambda x: x[1], reverseTrue)[:5] print(度中心性 Top5:, top_degree)degree_centrality返回的是归一化后的值除以了 N-1。betweenness_centrality默认用精确算法节点数超过几百就会很慢常见做法是加k参数做近似采样比如nx.betweenness_centrality(G, k100)用 100 个采样点估算。closeness_centrality在非连通图上会出问题因为距离无穷大networkx 会只算连通部分但结果解释时要小心。3.2 特征向量中心性与 PageRank 的对比除了上面三种特征向量中心性和 PageRank 也是社交网络里的常客。特征向量中心性认为连接高重要性节点的节点更重要PageRank 加了阻尼系数模拟随机跳转。# 特征向量中心性 eigen_cent nx.eigenvector_centrality(G, max_iter1000) # PageRankalpha 是阻尼系数默认 0.85 pagerank nx.pagerank(G, alpha0.85) # 对比两种指标的排序差异 import numpy as np nodes list(G.nodes()) eigen_ranks [eigen_cent[n] for n in nodes] pr_ranks [pagerank[n] for n in nodes] correlation np.corrcoef(eigen_ranks, pr_ranks)[0, 1] print(f特征向量中心性与 PageRank 的相关系数: {correlation:.4f})eigenvector_centrality的max_iter参数在大型稀疏图上可能要调大不然不收敛会抛异常。pagerank的alpha参数控制跳转概率0.85 是经典值调小会让分数更均匀。算完相关系数如果接近 1说明两种指标在这个图上排序差不多选一个用就行如果差异大就要在报告里解释为什么不同指标给出不同关键节点。3.3 可视化中心性分布算完指标要画图不然实验报告里没东西展示。常见做法是画节点大小随中心性变化的网络图或者画中心性的直方图。import matplotlib.pyplot as plt # 设置中文字体Windows 用 SimHeimacOS 用 Arial Unicode MS plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False # 画度中心性直方图 plt.figure(figsize(8, 5)) plt.hist(list(degree_cent.values()), bins30, edgecolorblack) plt.xlabel(度中心性) plt.ylabel(节点数量) plt.title(度中心性分布) plt.savefig(output/degree_centrality_hist.png, dpi150) plt.show()中文字体那两行是血泪经验不设的话标题和轴标签全是方块。dpi150保证保存的图够清晰实验报告里直接能用。如果节点太多网络图会糊成一团常见做法是只画度最高的前 50 个节点或者用nx.spring_layout的k参数调节点间距。4. 社区发现算法从 Louvain 到标签传播的落地细节4.1 Louvain 算法的模块度优化过程社区发现是社交网络分析的核心实验之一。Louvain 算法因为速度快、效果稳定是课程实验里出现频率最高的。它的核心思想是两阶段迭代先把每个节点划到邻居社区里让模块度增益最大再把小社区合并成超节点重复这个过程。import community as community_louvain # python-louvain 包 # Louvain 社区发现 partition community_louvain.best_partition(G) # 计算模块度 modularity community_louvain.modularity(partition, G) print(f模块度: {modularity:.4f}) print(f社区数量: {len(set(partition.values()))}) # 统计每个社区的节点数 from collections import Counter community_sizes Counter(partition.values()) print(各社区规模:, dict(community_sizes))这里用的是python-louvain包导入名是community。best_partition返回一个字典键是节点值是社区 ID。模块度越接近 1 说明社区结构越明显一般 0.3 以上就算有不错的划分。random_state参数可以固定随机种子保证每次跑结果一样写实验报告时建议固定。4.2 标签传播算法与 Girvan-Newman 的适用场景标签传播LPA比 Louvain 更快但结果不稳定每次跑可能不一样。Girvan-Newman 基于边介数逐步删边适合小图大图上慢得没法用。# 标签传播 from networkx.algorithms.community import label_propagation_communities lpa_communities list(label_propagation_communities(G)) print(fLPA 社区数量: {len(lpa_communities)}) # Girvan-Newman只建议在 100 节点以下的图上跑 from networkx.algorithms.community import girvan_newman gn_communities next(girvan_newman(G)) print(fGN 第一层划分社区数量: {len(gn_communities)})label_propagation_communities返回的是集合的列表每个集合是一个社区。它不需要预设社区数量但异步更新顺序会影响结果。Girvan-Newman 用next()取第一层划分继续迭代会得到更多社区。选型建议节点数少于 200 用 GN 看层次结构节点数几千用 Louvain节点数上万用 LPA 或者 Louvain 的并行版本。4.3 社区划分结果的可视化与评估社区发现跑完要可视化不然看不出划分好坏。按社区给节点上色是最直观的方式。# 按社区上色画网络图 pos nx.spring_layout(G, seed42) # 固定布局随机种子 colors [partition[node] for node in G.nodes()] plt.figure(figsize(10, 8)) nx.draw_networkx_nodes(G, pos, node_colorcolors, cmapplt.cm.Set3, node_size50) nx.draw_networkx_edges(G, pos, alpha0.3) plt.title(Louvain 社区划分结果) plt.axis(off) plt.savefig(output/louvain_communities.png, dpi150, bbox_inchestight) plt.show()spring_layout的seed参数固定后每次布局一样方便对比不同算法的划分。cmapplt.cm.Set3是离散色板适合社区这种分类着色。bbox_inchestight去掉多余白边。评估社区质量除了模块度还可以算社区内边密度和社区间边密度说明书里如果有这部分代码就直接用没有的话自己补一个也不难。5. 避坑与排查跑实验时最容易翻车的五个地方5.1 节点编号类型不一致导致建图失败现象加载边列表后节点数远小于预期或者G.degree()报 KeyError。原因源文件和目标文件的节点 ID 一个是字符串一个是整数pandas 读进来类型不统一networkx 把它们当成不同节点。解决读文件时统一指定dtypestr或者在建图前用astype(str)转换。edges pd.read_csv(data/edges.txt, sep , headerNone, names[source, target], dtypestr)5.2 介数中心性在大图上跑到内存溢出现象节点数超过 2000 时betweenness_centrality卡死或者 MemoryError。原因精确算法复杂度是 O(nm)大图上内存和时间都扛不住。解决加k参数做近似或者改用betweenness_centrality_subset只算部分节点。betweenness_cent nx.betweenness_centrality(G, k200, seed42)5.3 社区发现结果每次跑都不一样现象Louvain 或 LPA 每次运行社区数量和划分都变。原因算法内部有随机初始化没固定种子。解决Louvain 加random_state42LPA 本身不支持种子可以改用asyn_lpa_communities并固定节点顺序或者直接换 Louvain。5.4 可视化时中文字体显示为方块现象图表标题和轴标签里的中文全是方框。原因matplotlib 默认字体不含中文字形。解决设置plt.rcParams[font.sans-serif]为系统里有中文的字体Windows 用SimHeimacOS 用Arial Unicode MSLinux 用WenQuanYi Micro Hei。5.5 说明书里的路径和实际文件结构对不上现象按说明书里的命令跑报 FileNotFoundError。原因源码包解压后多了一层目录或者数据文件被移到了别的文件夹。解决先用os.walk打印实际目录树确认文件位置后再改代码里的路径不要硬套说明书里的相对路径。import os for root, dirs, files in os.walk(.): level root.count(os.sep) indent * 2 * level print(f{indent}{os.path.basename(root)}/) for f in files: print(f{indent} {f})6. 进阶技巧把实验代码改成可复用的分析流水线跑通单个实验只是起点真正省时间的是把代码整理成可复用的流水线。我一般会把加载、清洗、计算、可视化拆成独立函数用一个配置文件控制参数这样换数据集时只改配置不改代码。# config.yaml 示例 # data_path: data/edges.txt # sep: # algorithm: louvain # betweenness_k: 200 # output_dir: output/import yaml import networkx as nx import pandas as pd import community as community_louvain def load_graph(config): edges pd.read_csv(config[data_path], sepconfig[sep], headerNone, names[source, target], dtypestr) G nx.from_pandas_edgelist(edges, source, target) G.remove_edges_from(nx.selfloop_edges(G)) return G def run_analysis(G, config): results {} results[degree] nx.degree_centrality(G) results[betweenness] nx.betweenness_centrality(G, kconfig.get(betweenness_k, 100)) if config[algorithm] louvain: results[partition] community_louvain.best_partition(G, random_state42) results[modularity] community_louvain.modularity(results[partition], G) return results if __name__ __main__: with open(config.yaml, r, encodingutf-8) as f: config yaml.safe_load(f) G load_graph(config) results run_analysis(G, config) print(f模块度: {results[modularity]:.4f})这样改的好处是换数据集只改config.yaml里的data_path和sep换算法只改algorithm字段调介数中心性采样数只改betweenness_k。验证方法也简单拿两份不同规模的边列表跑同一套配置看模块度和运行时间的变化是否符合预期。如果小图上模块度 0.5 大图上掉到 0.1说明大图社区结构不明显不是代码问题。从那以后我每次拿到新的社交网络数据集都强制先跑一遍连通性检查和度分布确认数据质量再上算法这个习惯帮我省掉了至少三次返工。希望帮到你。本文还有配套的精品资源点击获取