A3C与KDD99：深度学习网络流量异常识别分类实战指南

简介这是一套基于深度学习实现网络流量数据异常识别与分类的Python源码项目面向信息安全、数据科学、人工智能等专业的课程设计、毕业设计或入门进阶学习。项目以KDD Cup数据集为实验对象整合了数据预处理、特征工程、模型估计与A3C深度强化学习分类模块可帮助读者从数据加载到训练评估完整掌握异常检测流程。压缩包共含50个文件包括16个Python脚本数据清洗、模型训练与可视化、20个txt说明/数据文件、8个data数据集、4个eps实验图以及2个bat启动脚本整体约19.06MB目录结构清晰便于按阶段查阅。目前已有233人学习下载。代码均在测试环境中运行通过既适合理解深度学习分类原理也可作为基线在此基础上扩展改进实现不同检测策略。1. 从KDD99到A3C深度学习的网络流量异常识别分类落地处理网络流量数据异常识别分类KDD99数据集几乎是最常被拿来练手的基准但这个任务真正的难点不在模型而在于整条链路——数据清洗、类别映射、不平衡样本处理、训练并行化、结果可视化。这套python源码把这条链路完整串了起来KDDTrain原始数据、预处理脚本、A3C深度强化学习模型、自动训练脚本、攻击类型展示脚本、精度曲线输出一步不缺。它不是拿现成模型随便调个包而是把流量分类建模成强化学习里的序列决策问题去学对DoS、Probe、R2L、U2R四类攻击和正常流量做端到端分类。适合正在做课设、毕设或者想真正看懂深度学习入侵检测完整流程的人。下面我按拆项目的习惯从数据、模型、训练、踩坑四个角度逐层讲。2. 数据预处理把42个字段和四类攻击整理成模型能吃的样子2.1 字段构成与三类符号特征编码KDD99数据集每一行由42个字段组成前41个是网络连接的特征最后一个是标签。这41个特征描述了一个TCP连接从建立到结束的各项统计量包括连接时长duration、协议类型protocol_type、目标端口对应服务service、连接状态flag、源到目的方向字节数src_bytes、目的到源方向字节数dst_bytes、最近两秒内与当前连接同服务的连接数count、其中出错比例serror_rate等。这些特征里有三列不是数值型而是符号型字符串分别是protocol_type、service、flag这是预处理阶段首先要解决的事。protocol_type通常只有三种取值tcp、udp、icmpservice表示目标主机提供的服务类型取值有七十多种包括http、ftp、domain_u、smtp等flag是连接终止状态标记常见的有SF、REJ、S0、RST等。绝大多数深度学习框架的输入都要求数值张量不能直接吃字符串所以这三列要先做编码。入门资料里最常讲的做法是独热编码one-hot encoding比如protocol_type一列展开成三列二值特征service一列展开成七十多列。如果跳过这一步直接把原始.txt喂给模型训练numpy会在读取阶段就报ValueError提示无法把字符串转成float。我第一次跑这类项目就吃过这个亏所以对预处理脚本的优先级印象深刻。这个源码包里的data_preprocessing.py干的就是这套活读取KDDTrain.txt逐列解析把符号列转成one-hot向量再对连续数值列做标准化。包里那几个formated_test_adv.data、formated_test_type.data、formated_test_simple.data、formated_test_multi.data文件就是预处理完成后导出的中间结果对应不同粒度和用途的处理版本。simple版本用于快速验证模型能不能收敛type版本保留攻击大类标签multi版本应该是多重特征组合后的形式调试时先小后大是个好习惯。2.2 攻击标签映射23类攻击合并为4大类KDD99最初的标签不只有五类训练集里一共出现了23种攻击类型直接把这23种当作分类目标在工程上并不划算因为几种攻击的样本量极少模型几乎学不到它们的有效特征。行业里通行的做法是把它们按攻击行为性质合并成四个大类再加上Normal正常流量形成标准的5分类问题。攻击大类含义包含的攻击标签示例DoS拒绝服务攻击back, land, neptune, pod, smurf, teardropProbe端口扫描与探测ipsweep, nmap, portsweep, satanR2L远程到本地的未授权访问ftp_write, guess_passwd, imap, multihop, spyU2R本地提权攻击buffer_overflow, loadmodule, perl, rootkit合并之后各类别数量极不均衡neptune这一类攻击可能占了千万级样本量的大头u2r整个分类只有几十条样本。这个不平衡后面会直接影响模型训练效果。源码包里的u2r_datasetdisplay.py和r2l_datasetdisplay.py两个脚本专门把U2R和R2L这两类小样本攻击从数据集中挑出来做单独展示原因就是它们数量太少、特征分布分散必须单独观察才能确认预处理阶段它们是否被完整保留标签有没有在合并映射时被错误丢弃。我在复现时会用这两个脚本校验自己的映射表有没有写漏比手工数类别高效得多。2.3 data_preprocessing.py的转换逻辑与输出格式我拆开预处理脚本来看核心转换逻辑等价还原出来大概是这样一个结构import pandas as pd from sklearn.preprocessing import LabelEncoder, StandardScaler # KDD99固定41个特征列名这里只列部分示意完整是41列 feature_cols [duration, protocol_type, service, flag, src_bytes, dst_bytes, count, srv_count] def load_kdd(file_path): df pd.read_csv(file_path, headerNone, namesfeature_cols [label]) # 23类攻击合并成4大类Normal保持不变 attack_map { back: DoS, neptune: DoS, smurf: DoS, teardrop: DoS, pod: DoS, land: DoS, ipsweep: Probe, nmap: Probe, satan: Probe, portsweep: Probe, guess_passwd: R2L, ftp_write: R2L, imap: R2L, multihop: R2L, spy: R2L, buffer_overflow: U2R, rootkit: U2R, loadmodule: U2R } df[label] df[label].map(lambda x: attack_map.get(x, x)) return df def encode_symbolic(df): # 符号列用one-hot数值列用标准化 symbol_cols [protocol_type, service, flag] df pd.get_dummies(df, columnssymbol_cols) scaler StandardScaler() numeric_cols df.columns.difference([label]) df[numeric_cols] scaler.fit_transform(df[numeric_cols]) return df, scaler这段逻辑里有几个参数是调优关键。attack_map是硬编码的映射表漏掉任何一个攻击标签都会让那一类样本落进attack_map.get的默认返回分支相当于被错误标记成Normal这会直接影响U2R这种小样本类别的完整度。get_dummies会把service列展开成七十多个二值特征所以预处理之后的特征维度会比原始41维高很多模型入口的input_dim必须和这个展开后的维度一致。另外StandardScaler的均值、方差必须只用训练集数据fit再复用同一个scaler去转换测试集绝对不能在测试集上重新fit否则训练和测试的特征分布就错位了这点在改动预处理脚本时要格外留意。输出文件方面formated_test_type.data是保留了攻击大类的完整测试集formated_test_simple.data是精简版本formated_test_adv.data从命名推测是用于进阶测试或对抗性验证的数据版本。这些.data文件都是已经完成编码的数值矩阵训练阶段直接读入使用比每次从原始.txt现处理要高效得多也避免训练脚本和预处理脚本之间字段顺序不一致的问题。源码包里的source_code_all_upload目录应该是整份代码的完整备份第一次跑通后对比它和当前目录的差异也能间接理解原始项目作者的组织方式。3. A3C模型拆解流量分类为什么要用异步Actor-Critic3.1 为什么A3C而不是纯CNN或随机森林把KDD99分类任务丢给XGBoost或者带softmax的CNN基线准确率其实不低因为Normal和大部分DoS样本本身区分度很高。但这类方法在R2L和U2R两个类别上的表现普遍很惨原因不复杂这两个类别合计占比不到1%有监督分类器的损失函数被大头类别主导学出来的决策边界几乎不会照顾小众类。我在实际项目中尝试过用随机森林调class_weight效果有提升但阈值敏感度太高稍有不稳就会整体跑偏。A3C全称是Asynchronous Advantage Actor-Critic异步优势演员评论家它把流量分类建模成一个序列决策问题智能体逐条观察网络连接记录每观察一条就输出一个动作也就是预测这条记录属于哪一类环境随即给出奖励信号预测正确给正奖励错误给负奖励。强化学习的探索机制在这里起了关键作用actor网络在训练初期会尝试输出概率不那么高的类别动作这相当于在做某种程度上的主动样本挖掘对小类别样本的利用效率比纯监督学习高。复现这套源码时直观感受到的差别是R2L和U2R的召回率比直接训练CNN要高出一节代价是训练轮数和超参调整需要耐心探索率设置不合适时loss曲线会明显震荡。3.2 网络结构Actor与Critic的双头输出源码包里的estimators.py定义的就是A3C的策略网络。标准A3C结构是底层共享特征提取层顶部衍生两个头actor头输出每个动作的概率分布critic头输出当前状态的折扣回报估计值V(s)。在这个任务里输入是预处理后的特征向量输出维度为5对应四类攻击加Normal。等价结构如下import torch import torch.nn as nn import torch.nn.functional as F class A3CNetwork(nn.Module): def __init__(self, input_dim, num_actions5): super().__init__() self.shared nn.Sequential( nn.Linear(input_dim, 256), nn.ReLU(), nn.Linear(256, 128), nn.ReLU() ) # actor 头输出每个候选类别的logits self.actor nn.Linear(128, num_actions) # critic 头输出状态价值一个标量 self.critic nn.Linear(128, 1) def forward(self, x): feat self.shared(x) logits self.actor(feat) value self.critic(feat) return logits, value def get_action_probs(self, x): logits, _ self.forward(x) return F.softmax(logits, dim-1)这里最需要认真核对的是input_dim。如果读入的是formated_test_type.data维度应该是41维原始特征加one-hot展开后的总数service列有七十多种取值所以实际可能是120到140维。这个值只要和预处理输出对不上模型初始化就会报shape mismatch。num_actions默认是5对应四类攻击加Normal如果想做23类细粒度分类需要同步改这里同时要解决小类别样本过少的问题否则就会变成每个类别都学不好。隐层256和128的组合在精度和训练耗时之间比较均衡显存或CPU资源吃紧时可以往下调但不建议低于64否则actor和critic共享的特征表达表达能力不足表现为两个头的loss都降不下去。3.3 worker.py并行训练与全局参数更新A3C相比普通Actor-Critic的核心差异在异步并行。worker.py里实现了多个worker实例每个worker持有全局网络参数的一份副本各自在流量数据的不同批次上做策略梯度更新然后定期把累积梯度推回全局参数。多个worker并行探索的好处一是训练速度快二是打破了相邻训练样本的相关性因为每个worker消费的数据片段来自不同位置数据采样的多样性比单个智能体顺序遍历强得多。源码包里的A3C_IDS.bat是Windows环境下的启动脚本本质是拉起多个worker进程去执行训练。我复现时习惯先查看.bat里配置了几个worker、学习率是多少再结合自己机器的CPU核心数做调整。A3C是为CPU并行设计的算法每个worker只维护一份完整网络副本显存占用不大CPU多核反而更能发挥它的优势。A3CtypeAD.py从职责上看是训练主入口负责初始化全局网络、创建worker、汇总指标。my_enviroment.py则扮演全局配置角色数据路径、类别数、输入维度、学习率这些常量一般都能在这里找到。改数据目录时第一件事就是同步改这个文件路径配置错了后面所有脚本都会在原地点爆FileNotFoundError。4. 训练与评估从.bat到.eps曲线4.1 环境准备与依赖安装requirment.txt里列出的是项目运行所依赖的库用pip批量安装即可。复现这个项目建议使用Python 3.6到3.8之间的版本太新的Python版本有时会让torch等依赖的预编译包安装变得麻烦。安装指令很简单pip install -r requirment.txt如果默认源安装torch失败可以单独指定CPU版本安装。这个项目的数据规模和网络复杂度用CPU完全跑得动A3C本身是为CPU并行设计的算法并不强依赖GPU。用vscode调试的话先把python解释器指到当前虚拟环境避免在终端和IDE之间出现环境不一致的问题。my_enviroment.py里需要重点核对三个常量原始数据文件路径、预处理后的data文件路径、输出eps文件的保存目录。把这几个路径设置正确比调模型超参更容易决定训练能否正常启动。我第一次跑就是路径少写了一个目录层级直接在文件读取阶段报错浪费了大半天时间。4.2 启动训练A3C_IDS.bat与命令行参数Windows下可以直接双击A3C_IDS.bat启动也可以打开终端手动执行主脚本python A3CtypeAD.py --train --workers 4workers参数控制并行worker数量如果你是4核CPU推荐设置2到4个。学习率建议从0.001附近起步过大会让actor和critic的loss剧烈震荡过小则迭代很久都看不到loss明显下降。训练过程中终端会周期性打印每个epoch的loss和平均奖励判断模型是否在学习的简单标准是loss在缓慢下降的同时平均奖励在缓慢上升两者方向同时反转说明超参可能出了问题。如果只为了快速验证流程能跑通可以把训练数据换成KDDTrain_20Percent.txt它是完整训练集的20%子集。先用小数据把模型、脚本、评估链路整体走一遍确认没有低级错误再用完整数据跑正式实验。这个习惯在课设时间里尤其值得保留能避免在训练了十来个小时之后才发现预处理阶段就有bug。4.3 结果解读理解.eps曲线和攻击分类准确率训练完成后项目会输出A3C_test_type.eps和A3C_test_type_0.eps两个文件。eps是矢量图格式用matplotlib的savefig就能生成打开可以用Inkscape或Illustrator。图里绘制的内容通常是测试集上各类别识别精度随训练迭代的曲线0到4编号对应五分类中的各类别。从曲线能直观判断模型对不同攻击类型的拟合程度。实际复现中比较典型的现象是Normal和DoS的精度接近98%以上Probe的精度也偏高但U2R的识别率曲线非常低甚至偶尔掉到0附近。这个现象在数据预处理章节就已经埋下伏笔——u2r样本量太少模型很难学到有效特征。如果课设要求突出U2R的检测效果一个可行方向是加大u2r在损失函数中的权重或者对这类样本做过采样。源码包里u2r_datasetdisplay.py的存在说明原项目作者确实针对这个类别做过专门分析两个display脚本在检查标签合并正确性时也能派上用场。4.4 用KDDTest和KDDTest-21交叉验证这个源码包同时带了KDDTest.txt和KDDTest-21.txt两个测试集这是KDD99场景里很容易被忽略的细节。KDDTest是完整测试集KDDTest-21是从完整测试集中剔除了大部分判定难度较高的样本后得到的子集。所以在KDDTest-21上得分高不能直接说模型在真实环境里同样优秀更像是在一组相对简单的试题上考了高分。我建议训练结束后把两个测试集都跑一遍分别记录准确率和F1值。如果KDDTest的得分比KDDTest-21明显低出几个百分点说明模型在困难样本上还有明显短板此时优先考虑增加网络容量、延长训练轮数或者针对难分样本做补充采样。反之如果两个分数接近说明模型稳定性比较好写进课设报告时也更有说服力。包里那个看我看我.txt文件我理解是原项目作者留下的运行说明和注意事项拿到包后第一步先读它能避免不少弯路。5. 避坑指南六个翻车现场与排查思路以下坑点来自我实际复现过程中的经历和同行踩过的坑每一条都按照现象、原因、解决的顺序来写希望能帮你节省排查时间。5.1 一开训就报ValueError字符串不能转float现象运行训练脚本时报错提示could not convert string to float: tcp或者类似的类型转换异常。原因protocol_type、service、flag这三个符号列没有完成one-hot编码原始字符串被直接传进了模型输入。通常是跳过预处理脚本直接把KDDTrain.txt喂给了模型。解决先运行data_preprocessing.py生成formated_*.data文件再启动训练。如果是自己改代码务必用get_dummies或等价方案把三个符号列扩展成数值列并确保训练集和测试集走的是同一套编码逻辑最后核对编码后的总维度与模型input_dim一致。5.2 模型躺平所有样本都被预测成Normal现象训练完成测试发现所有流量都被分到NormalDoS和Probe检测率为0。原因Normal样本占比过高模型找到了最简单的捷径——永远输出概率最高的类别这样整体的loss也不会太差但模型实际什么都没学会。这是类别不平衡下的典型假收敛。解决在损失函数中给攻击类别加权重或者在构造每个batch时做类别重采样保证u2r和r2l样本在每个批次里都有一定占比。也可以减小训练初期的探索率让模型不要那么快陷入局部最优。5.3 KDDTest-21的得分虚高报告里说不清楚现象用KDDTest-21评估准确率95%以上换到KDDTest只有80%出头两个结果相差明显。原因KDDTest-21剔除了一部分难判别的样本它衡量的是模型在简单子集上的表现不能代表真实环境的泛化水平。解决写报告或答辩时明确注明评估所用测试集是KDDTest还是KDDTest-21并交叉验证两组数据。测试集全程不能参与训练和调参这是评估的基本底线。5.4 .data文件被重复覆盖模型输入维度闹鬼现象修改预处理脚本后重新生成formated_test_type.data模型突然报shape mismatch或者训练出来的结果完全不对。原因重新生成时one-hot列的顺序或总维度发生了变化但模型入口的input_dim没有同步更新或者旧的中间文件被覆盖前没有备份。解决把.data文件当作构建产物管理生成到单独目录并记录列名顺序。每次改动预处理逻辑前先把旧文件归档训练前用脚本打印输入张量维度与模型input_dim两者对不上就停止。5.5 训练进程退不干净端口被占用现象训练结束后终端仍然挂起重启训练时报端口被占用或者内存/显存没有释放。原因多worker训练中创建的进程池或socket句柄没有显式关闭Windows下尤其容易出现子进程残留。解决在worker.py主流程中补充terminate和join逻辑使用A3C_IDS.bat启动的训练结束时通过任务管理器确认没有残留的python进程。如果反复出现建议把多worker数量暂设为1先排查是否单进程下也有退出异常。5.6 跨环境加载模型文件失败现象在Python 3.6环境训练保存的模型权重拿到Python 3.8环境加载时报陈旧数据格式错误或者缺属性。原因torch版本差异或Python小版本间类定义路径不同pickle化后的对象无法完整还原。解决训练和加载使用同一套环境保存模型时同时导出配置参数和类别映射表不要只存权重文件。部署到另一台机器时先按requirment.txt重建环境再执行加载。6. 复用技巧把KDD模型移植到CICIDS2017的四个改动想把这套源码改造成更新颖的毕设项目一个重要方向是迁移到CICIDS2017这类较新的网络流量数据集上。但直接替换数据文件会撞墙因为两个数据集之间差异非常大。我按改造优先级列出四个关键改动做完之后模型的架构和训练流程基本不用变只是数据入口换掉了。第一处是特征筛选。KDD99是41维特征CICIDS2017包含八十多个统计特征其中还混着Timestamp、Flow ID、Source IP这类纯标识字段。这些字段在预处理时必须先剔除否则模型会学到基于IP地址或时间戳的虚假关联测试集里出现新的IP时模型性能会骤降。我的做法是先把全部列名打印出来逐列判断是否携带可标识信息再做删除。第二处是预处理管线重拟合。CICIDS2017的特征分布和KDD99差异很大原先脚本里fit好的StandardScaler不能复用必须用新数据重新拟合一版。feature_cols列表要换成新数据集的列名集合one-hot编码同样如此符号列的种类和数量变化会直接影响输入维度。第三处是类别映射表。CICIDS2017攻击标签有不少包括DDoS、PortScan、Bot、Web Attack等KDD99那套四类合并规则并不能直接套用需要按攻击家族重新定义映射关系。我一般的映射参考如下re_map { BENIGN: Normal, DDoS: DoS, DoS Hulk: DoS, DoS GoldenEye: DoS, PortScan: Probe, Nmap: Probe, Bot: R2L, Web Attack Brute Force: U2R, Web Attack XSS: U2R, Web Attack Sql Injection: U2R }第四处是类别权重重算。CICIDS2017的类别不平衡比KDD99更极端PortScan的样本量可能是Web Attack的上万倍沿用KDD99的固定权重会被带偏。训练前我先打印每个类别的样本数再按样本量反比计算损失权重而不是凭经验写死。这一步做完模型对少数类别的召回率会有明显改善。迁移过程中我最大的收获是认识到数据集的差异往往比算法差异更致命花在理解数据分布上的时间永远是回报最高的投入。从那以后我每次拿到新的网络流量数据集都强制先走一遍特征分布和类别占比检查再谈模型这个习惯帮我省了至少三分之一的调试时间。希望帮到你。本文还有配套的精品资源点击获取