电力系统多源数据融合入侵检测：从特征对齐到决策级融合

简介面向电力系统网络安全研究者的多源数据融合方案聚焦利用多传感器融合技术提升网络入侵检测能力。文档结合数据预处理、特征提取、融合算法设计与入侵检测模型构建等关键环节给出Python实现思路适合具备一定Python基础、熟悉机器学习算法的科研人员及电力系统安全方向研究生使用也可为工业控制系统安全、物联网安全领域技术人员提供实践参考。资源包内含1个docx文档整体77KB文档中既包含方法原理说明也包含可复现的Python代码片段与模块分析便于读者逐模块理解数据融合逻辑与分类模型设计细节。目前已有31人学习下载可用于电力系统网络安全防护中的早期预警与精准识别也可支撑科研人员复现算法并进一步优化融合策略。1. 多源数据融合为何成为电力系统网络入侵检测的必选项电网调度中心里SCADA 画面上的电压、电流、频率曲线看起来一切正常但网络侧其实已经有人在用畸形报文反复探测前置机的 Modbus 端口反过来也有一种情况网络抓包干净得像是测试环境但远方操作记录里却多了一条凌晨两点修改保护定值的命令。单一数据源做入侵检测本质上是闭着眼睛判断——你只看到了攻击的一截影子。多传感器融合、多源数据融合在电力系统里的价值不是把特征拼在一起那么简单而是利用 SCADA 遥测、网络流量、操作日志三类数据的冗余与互补把单源检测的高误报率压下来同时把潜伏期攻击的检出时机往前拉。这个方向适合正在做电力监控系统安全防护、微电网能量管理系统、变电站自动化系统二次安防的工程师也适合想把学术方案落成可运行 Python 脚本的研究者。下面从数据源建模开始一路讲到可复现的融合检测管线以及我踩过的那些坑。2. 融合什么与怎么融合电力系统的三类数据源与三级融合架构2.1 三类数据源SCADA 遥测、网络流量报文、操作日志D5000 或 OpenSCADA 这类系统里遥测数据是典型的时序信号母线电压、线路电流、系统频率、有功无功通常通过 IEC 104 或 Modbus 规约从 RTU 汇总到前置机再进历史库。攻击者对遥测数据的扰动往往是间接的先通过漏洞控制某台测控装置再伪造报文或者直接改写遥测缓存导致调度员看到“假正常”。单看遥测曲线你很难区分一次雷击导致的电压跌落和一桩恶意注入的电压数据因为两者在数值形态上可能完全一致。网络流量是第二类数据源它描述的是通信平面的行为。电力系统内部网络不像办公网其流量特征极度规整Modbus TCP 的功能码种类固定、GOOSE 报文周期性极强、站控层与间隔层之间的连接关系也很少变化。正因为行为规整异常行为反而显眼——比如短时间内大量不同功能码的请求、非调度时段出现的远方写操作、TCP 连接频率突然上升。但流量数据本身看不到物理量变化比如攻击者只读取告警信息不改任何定值网络侧可能只有几兆字节的异常下载记录物理侧完全无感。第三类是操作日志包括登录认证记录、遥控操作记录、保护定值修改记录、告警确认记录。攻击链走到最危险的“执行”环节时几乎必然留下日志痕迹。日志的问题是噪声高、格式混乱而且单一日志很容易被清理或伪造。把三类数据放一起各自弥补对方的盲区遥测负责发现物理量层面的异常流量负责发现通信行为层面的异常日志负责发现控制指令层面的异常。2.2 数据级、特征级、决策级三种融合层级的适用边界数据级融合要求所有源在原始采样层面直接对齐这在电力系统里极少可行因为遥测采样的秒级周期、网络抓包的事件驱动、日志的文本记录在时间分辨率和格式上根本不在一个平面上。就算强行把网络报文按 SCADA 采样周期聚合也会丢失报文细节。我的经验是除非你的所有数据源都已经统一成同频率的结构化数值型序列否则不要碰数据级融合。特征级融合是目前落地最多的一条路。思路是先从每个数据源中提取统计特征比如遥测的窗口均值与方差、网络流量的报文速率与特殊功能码占比、日志的登录失败次数和遥控频次然后在样本维度上拼成一个长特征向量交给一个分类模型。这条路的优势是端到端、训练简单缺点是如果某个数据源的特征质量差或者缺失率高会把整体精度往下拖而且特征的解释性需要依赖 SHAP 这类事后工具。决策级融合则是为每个数据源各训练一个独立检测模型再把多个模型的预测结果综合成最终结论常见做法是投票、加权平均或堆叠。它最大的好处是容错即使某路传感器被攻击者污染导致该路模型失灵其他路的模型仍有机会守住底线。缺点是每个单源模型都需要足够的训练数据电力系统攻击样本本来就稀缺拆成三份后训练压力更大。2.3 为什么决策级融合能兜底特征级融合能提精度这两句话我在项目里反复验证过。如果你的数据质量高、标签可靠特征级融合的上限通常更高因为它把跨源关联信息喂给了同一个模型。举一个实际场景攻击者先从站控层发起一次重放攻击SCADA 侧的电压曲线在事件后 2 秒才开始漂移而网络侧在事件发生瞬间就有异常的 TCP 重传特征级融合能让模型在同一棵决策树里同时看到“当前电压偏移小”和“TCP 重传率剧增”这两个特征从而在物理量尚未恶化时提前告警。但特征级融合的弱点也很致命一旦某一特征列在生产环境里缺失或漂移整个模型的预测分布会跟着变。决策级融合更稳尤其适合生产环境里“先有单源模型、后做融合”的演进路线。一般建议是先用特征级融合做离线精度验证确认多源信息确实带来增益再为生产环境的稳定性把特征级结果与决策级投票做一次交叉评估选两者中 F1 更稳的方案落地。如果只能二选一我倾向于决策级融合因为它对数据质量的要求更宽容。3. 用 Python 做数据对齐与特征归一化多源数据融合的第一步3.1 时间戳对齐与重采样让三个数据源落在同一时间轴上数据对齐是融合最费时间的一步也是出错率最高的一步。SCADA 遥测是按固定周期上报的数值点网络流量是每条报文一个事件操作日志则是“有人做事才有记录”。要让它们进同一个模型必须先按一个公共时间窗口做对齐。import pandas as pd # 三个数据源SCADA遥测、网络流量聚合统计、操作日志 scada pd.read_csv(scada_telemetry.csv, parse_dates[ts]) net pd.read_csv(net_flow.csv, parse_dates[ts]) ops pd.read_csv(ops_logs.csv, parse_dates[ts]) # 统一按 5 秒窗口重采样SCADA 取窗口均值 scada[ts] scada[ts].dt.floor(5s) scada_win scada.groupby([ts, device_id]).agg( voltage_mean(voltage_pu, mean), current_mean(current_pu, mean), freq_dev(freq_hz, lambda x: x.max() - x.min()) ).reset_index() # 网络流量按同一窗口聚合报文数、异常功能码占比 net[ts] net[ts].dt.floor(5s) net_win net.groupby(ts).agg( pkt_in_rate(pkt_len, count), modbus_rare_ratio(func_code, lambda x: (x.isin([3, 16, 43])).mean()) ).reset_index() # 操作日志按窗口统计登录失败与遥控次数日志稀疏则用 merge_asof 前向填充 ops[ts] ops[ts].dt.floor(5s) ops_win ops.groupby(ts).agg( login_fail_count(result, lambda x: (x fail).sum()), cmd_modify_count(action, lambda x: (x set_param).sum()) ).reset_index() # 用 merge_asof 对齐容差设为 10 秒 merged pd.merge_asof(scada_win.sort_values(ts), net_win.sort_values(ts), onts, tolerancepd.Timedelta(10s), directionnearest) merged pd.merge_asof(merged.sort_values(ts), ops_win.sort_values(ts), onts, tolerancepd.Timedelta(10s), directionbackward) merged merged.dropna(subset[voltage_mean])这段代码有两个关键点。第一dt.floor(5s)把每个源的时间戳归一到 5 秒网格上这是解决异构时间粒度最直接的手段窗口大小不要拍脑袋定要根据网络报文到达率与 SCADA 采样周期来选常见做法是先看数据的时间间隔直方图再选覆盖 90% 间隔的中位数窗口。第二merge_asof的direction参数决定了匹配方向对时间戳整体有延迟的日志数据用backward取最近的历史值对随机抖动的事件流用nearest更合适。默认容差是无限大不设tolerance会导致跨很远的窗口强行匹配产生大量无意义对齐。3.2 特征级归一化不要让电压幅值欺压网络报文字节数对齐之后特征列的量纲差异立刻就暴露了电压标幺值通常在 0.95 到 1.05 之间网络报文速率一秒钟可能上百条登录失败次数在多数窗口里是 0。如果直接把这些原始值喂给基于距离的模型或者让树模型做分裂时量纲大的特征虽然不会被距离度量欺负但梯度类模型就会在数值上被高幅值特征主导。归一化是不可跳过的一步。from sklearn.preprocessing import MinMaxScaler from sklearn.model_selection import train_test_split feature_cols [ voltage_mean, current_mean, freq_dev, pkt_in_rate, modbus_rare_ratio, login_fail_count, cmd_modify_count ] # 先切分再归一化防止归一化统计量从验证集泄露到训练集 train_df, val_df train_test_split(merged, test_size0.3, shuffleFalse) scaler MinMaxScaler() scaler.fit(train_df[feature_cols]) X_train scaler.transform(train_df[feature_cols]) X_val scaler.transform(val_df[feature_cols]) y_train train_df[is_attack].values y_val val_df[is_attack].values这里特别提醒一句MinMaxScaler只能fit在训练集上然后用同一个scaler.transform去处理验证集和测试集。我看到不少初学者把整份数据丢进去fit看起来精度更高但实际上验证集的取值范围已经通过归一化的 min/max 参数渗透进了训练过程属于典型的特征泄露。你拿泄露后的结果去宣称模型效果上线后大概率会被打脸。对于树模型归一化在原理上不是必须的但当你同时使用多个模型做融合时统一尺度能让你后续做特征可视化、特征重要性对比时更直观所以我一般不管什么模型都先归一化。3.3 融合前先做缺失值处理与时间偏差清洗对齐完成后常出现两种脏数据某窗口没有网络流量记录merge_asof会填充 NaNSCADA 偶尔丢帧本地窗口内只有两条遥测点。NaN 的处理不建议简单dropna因为电力系统网络流量的缺失本身就可能是攻击行为造成的——比如攻击者切断了某个间隔层设备的通信。把“缺失”本身变成特征更合理。# 把缺失标记转化为 0/1 特征保留缺失信息 for col in [pkt_in_rate, modbus_rare_ratio, login_fail_count, cmd_modify_count]: merged[col _missing] merged[col].isna().astype(int) merged[col] merged[col].fillna(0) # SCADA 遥测窗口内少于 3 个采样点视为数据质量不足单独标记 scada_cnt scada.groupby([ts, device_id]).size().reset_index(namescada_cnt) merged merged.merge(scada_cnt, on[ts, device_id], howleft) merged[low_quality] (merged[scada_cnt] 3).astype(int)这一步的核心思路是缺失不是错误而是信息。常见做法有两种一是像我这样把缺失值填 0 并加一个缺失标志列二是用上一窗口的值前向填充前者更适合网络侧突发事件引起的整段空缺后者更适合传感器短暂离线。如果你不清楚当前环境缺失的主因跑一个简单的统计看缺失集中在哪些时间点——如果都在整点附近多半是数据导出任务在抢资源如果集中在凌晨大概是巡检流程断网了。不同成因对应不同处理方式一刀切就是给自己挖坑。4. 特征级融合 决策级投票一套可复现的入侵检测管线4.1 基分类器设计与参数说明随机森林 梯度提升特征级融合后的特征向量包含跨源信息接下来需要一个能在高维稀疏特征上稳定工作的分类器。我常用的基线组合是随机森林加梯度提升树。随机森林对异常值和缺失值不敏感训练快而且带原生的feature_importances_可以快速验证每个数据源是否真的贡献了信息梯度提升树则能在小样本上把决策边界刻画得更细但容易过拟合需要控制树的数量和学习率。from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier # 随机森林类别不平衡场景必须开 class_weight rf_model RandomForestClassifier( n_estimators300, max_depth12, min_samples_leaf5, class_weightbalanced, random_state42, n_jobs-1 ) rf_model.fit(X_train, y_train) # 梯度提升保守参数防过拟合 gb_model GradientBoostingClassifier( n_estimators200, learning_rate0.05, max_depth4, subsample0.8, random_state42 ) gb_model.fit(X_train, y_train)class_weightbalanced是处理正常样本远多于攻击样本的标准手段它会按类别频率反比放大少数类的损失权重。min_samples_leaf5强制每片叶子至少 5 个样本避免树在攻击样本极少时把噪声当规律学进去。梯度提升的subsample0.8是列抽样的行版本每次迭代只用 80% 的样本拟合既能降方差也能加速。学习率 0.05 配 200 棵树是一个“不求最快但求最稳”的组合如果你发现验证集上仍在掉点可以把学习率调低到 0.02 并同步把树数加到 300但注意训练时间会显著变长。4.2 决策级融合软投票与阈值调整单模型就算用了多源特征仍然存在偏向问题随机森林偏好把正常样本判对因为多数类在投票时天然占优梯度提升则有时对攻击样本过于敏感会把正常波动当攻击。与其纠结选哪个模型不如让两个模型各展所长再做一次决策级融合。常见做法是软投票即按预测概率加权平均。import numpy as np from sklearn.metrics import f1_score, recall_score, precision_score, confusion_matrix # 得到两个模型的预测概率 prob_rf rf_model.predict_proba(X_val)[:, 1] prob_gb gb_model.predict_proba(X_val)[:, 1] # 软投票融合随机森林权重 0.6梯度提升权重 0.4 prob_fused 0.6 * prob_rf 0.4 * prob_gb # 阈值不是写死的 0.5按验证集 F1 搜索 best_th 0.5 best_f1 0 for th in np.arange(0.3, 0.7, 0.02): pred_th (prob_fused th).astype(int) score f1_score(y_val, pred_th) if score best_f1: best_f1 score best_th th pred_final (prob_fused best_th).astype(int) print(Threshold:, best_th) print(Precision:, precision_score(y_val, pred_final)) print(Recall:, recall_score(y_val, pred_final)) print(F1:, f1_score(y_val, pred_final))权重不一定要五五开我的经验是看哪个单模型在验证集上的精确率更高就给它更大的权重因为它更靠谱。阈值扫 0.3 到 0.7 这个区间是因为电力系统入侵场景里攻击样本占比一般很低默认 0.5 下模型输出概率往往被压缩在 0.3 到 0.6 之间快速扫一遍能多拿不少 F1。但别把这个阈值搜索当成万能药它是在验证集上调出来的换一批时间段的测试数据阈值可能就要重新扫。4.3 完整评估脚本混淆矩阵与按源贡献分析评估不能只看一个 F1至少要同时输出混淆矩阵和各源特征的重要性排序。混淆矩阵能告诉你误报和漏报的代价结构在电力系统里一次漏报可能导致设备被远程跳闸一次误报则让运行人员疲于奔命两者的代价完全不同。from sklearn.metrics import confusion_matrix, classification_report import matplotlib.pyplot as plt cm confusion_matrix(y_val, pred_final) print(Confusion Matrix:\n, cm) # 特征重要性对比从随机森林中读出各源贡献 importances pd.Series(rf_model.feature_importances_, indexfeature_cols).sort_values() print(\nFeature Importances:\n, importances) # 汇总每个数据源的贡献占比 source_summary { SCADA: importances[[voltage_mean, current_mean, freq_dev]].sum(), Network: importances[[pkt_in_rate, modbus_rare_ratio]].sum(), OpsLog: importances[[login_fail_count, cmd_modify_count]].sum() } print(\nSource Contribution:\n, source_summary)特征重要性的数值只代表该特征在树分裂中被选中的频度和收益不绝对等于因果贡献但它能快速暴露一个问题如果某个数据源的所有特征加起来贡献占比不足 5%那这个源要么是特征提取方式不对要么是和标签的相关性确实弱。我见过一个项目里 SCADA 特征占比高达 90%网络特征几乎为 0后来发现网络流量是按天聚合而不是按窗口聚合的等于把关键细粒度信息给抹平了。5. 多源融合避坑清单五个让模型翻车的常见问题5.1 训练集与测试集时间泄露排序后切分是隐患现象模型在随机切分的验证集上 F1 高达 0.95一到按时间顺序回测就跌到 0.6。原因攻击样本在真实时间线上是聚集出现的随机切分会把同一段攻击的数据同时分进训练集和验证集模型本质上在“背答案”。解决切分时务必用shuffleFalse按时间顺序前 70% 训练、后 30% 验证如果要更严格就按“前 N 天训练、后 M 天验证”来切别让验证集时间窗口跨到训练集之前。5.2 类别不平衡正常样本占 99% 时怎么调现象模型预测几乎全是正常混淆矩阵里攻击类召回率不到 10%但整体准确率却高达 98%。原因默认损失函数在多数类占绝对主导时模型发现全预测成正常就能拿高分。解决先把评估指标从准确率换成召回率与 F1再开启class_weightbalanced如果还不行少数类可以尝试上采样或者用 SMOTE 生成合成样本。SMOTE 在时间序列数据上要谨慎它按特征空间插值可能生成“物理上不可能”的电压与流量组合反而增加误报。5.3 时间对齐窗口过宽信息平均化导致漏检现象攻击流量只持续 1 秒按 60 秒窗口聚合成特征后异常被几十倍正常流量稀释检测模型毫无反应。原因窗口宽度大于攻击事件的持续时间网络侧特征被“平均化”抹平了。解决统计攻击样本对应的流量突发时长把窗口宽度设为突发时长的 1/3 到 1/2比如攻击突发 3 秒就用 1.5 秒或 2 秒窗口但窗口过窄会导致 SCADA 侧单窗口采样点过少特征方差变大所以最终窗口要在两个源的约束之间取折中。最终窗口通常要同时做几组对比实验别只看一组就定。5.4 归一化泄露scaler 在全量数据上 fit 是暗坑现象离线评估 F1 优秀部署上线后模型预测概率漂移明显。原因训练时把全量数据的 min/max 统计量用进了归一化而这些统计量里包含了未来时间段的取值信息。解决scaler.fit严格只放在训练集上验证集和测试集只用transform。更稳妥的做法是把 scaler 和模型一起打包成Pipeline用cross_validate做时间序列切分。这个小问题不解决你所有后续调参都在自欺欺人。5.5 实时性要求与滑窗策略的冲突现象检测脚本在离线回溯里 0.3 秒处理一个窗口但在生产环境里每次告警都滞后 2 分钟。原因离线脚本把一整天的数据一次性读入内存做批量预测生产环境则要边攒窗口边推理如果窗口是 5 秒滑 1 秒等于每秒都要对最近 5 秒数据重新算一次特征计算量和批处理完全不在一个量级。解决生产侧把特征计算缓存下来只增量更新窗口内新增数据真要严格实时把窗口改成 3 秒固定不重叠虽然时间分辨率差一点但计算压力可控得多。这属于工程取舍别指望一套离线代码直接搬到生产还能保持同样的延迟。6. 验证方法与进阶从离线评估到准实时检测的最后一公里离线评估通过只是第一步电力系统的入侵检测最终要挂在实时数据链路上跑。我建议你做三件事。第一用滑动窗口做时间回溯测试按步长 1 秒在测试集上反复推理统计每个窗口的预测概率与真实标签之间的延迟差画出“检测延迟分布曲线”看有多少攻击样本能在 3 秒内被发现——这个指标比 F1 更能反映实际安防效果。第二跑一组消融实验分别只输入 SCADA、只输入网络流量、只输入日志以及三者融合四组对比的 F1、召回率放在同一张表里多源融合到底带来多少增益一目了然。如果融合后的提升不到两个点你要反思是不是数据对齐或特征构建环节出了问题。可以试试把随机森林换成一维卷积网络把每个窗口内的原始序列直接作为输入省去手动特征工程但代价是数据量要求更高且模型可解释性变差电力调度场景的审计要求常常让你必须解释清楚“为什么报警”。在用深度模型之前我会先问自己一个问题这个报警阈值和特征逻辑能不能向安监部门说清楚说不清楚的模型指标再高也难落地。最后说一个我的习惯每跑完一轮实验我都会把压测时间戳、数据版本、特征列清单、模型参数还有阈值搜索范围完整记在一个实验日志文件里。因为几个月后你会拿到新的攻击样本回来重训模型届时发现效果反而变差了能帮你定位问题起因的只有那些记录。这个方向的投入回报比其实很清晰先用特征级融合配合随机森林与梯度提升的软投票把离线 F1 做到 0.85 以上再上滑窗回溯测试验证延迟最后再考虑深度模型。别一上来就奔着复杂模型去多源数据融合的核心从来不在模型多 fancy而在于数据有没有真正在时间轴和特征轴上对齐踩过的坑我都写在上面了希望帮到你。本文还有配套的精品资源点击获取