CNN+Transformer运动想象脑电分类：从预处理到注意力可视化的毕设实战

简介这份资源是面向计算机、人工智能、通信工程、自动化等专业学生与教师的本科毕业设计项目包围绕运动想象脑电信号分类任务采用CNN与Transformer混合框架CNN负责提取局部时空特征Transformer建模全局依赖并配套EEGNet、Conformer、空间注意力等对比模型适合作为毕设、课程设计或课题立项的完整参考方案。压缩包共31个文件约18.45MB以23个Python脚本为核心涵盖数据预处理、四分类数据生成、K折训练、模型定义与可视化分析另有2个MATLAB脚本、2个Excel统计表、1个npy数据、1个pth权重及xml配置与md说明结构清晰便于复现。目前已有383人学习下载。读者可据此掌握从脑电预处理、CSP特征、模型搭建到t-SNE、CAM热力图、AUC与箱线图评估的完整流程并借助预训练权重与统计脚本快速验证与二次开发。1. 从一段 4 秒的脑电说起CNNTransformer 到底在运动想象分类里干什么运动想象Motor Imagery, MI脑电分类是脑机接口里最经典也最磨人的任务之一受试者不动手只在脑子里想象左手或右手运动头皮上那几微伏的电位变化就要被算法判出类别。本科毕业设计选这个题通常拿的是 BCI Competition IV 2a 或 2b 这类公开数据集采样率 250Hz一次试验 4 秒左右通道数 22 或 3。传统做法是 FBCSP 加 LDA/SVM稳但天花板低这几年大家开始上深度学习尤其是 Transformer 火起来之后「CNN 提局部特征 Transformer 抓全局依赖」成了热门组合。这个标题讲的正是这条路线用 CNN 把脑电的时频局部模式压成序列再交给 Transformer 编码器建模通道与时间上的长程关系最后分类。它适合正在做计算机、电子信息、生物医学工程方向毕业设计、手上有 Python 和 PyTorch 基础、想做出一个能跑通又能写进论文的完整 pipeline 的人。下面我按自己带过几届毕设的实操顺序把这条路线拆开讲清楚。2. 数据与预处理把 22 通道脑电变成模型能吃的张量2.1 为什么先做带通滤波和指数移动标准化原始脑电里运动想象真正有用的信息集中在 mu 节律8–13Hz和 beta 节律13–30Hz。工频干扰、眼电、肌电这些噪声幅度往往比信号本身还大不滤掉的话 CNN 第一层就学偏了。常见做法是 4–38Hz 的带通用 MNE 的filter或 scipy 的butterfiltfilt再做指数移动标准化Exponential Moving Standardization, EMS它对慢漂移比全局 z-score 更鲁棒。这里有个血泪经验滤波一定要用零相位filtfilt否则相位延迟会让左右手的事件相关去同步ERD/ERS模式错位分类直接掉几个点。import numpy as np from scipy.signal import butter, filtfilt def bandpass(data, fs250, low4, high38, order4): # data: (n_trials, n_channels, n_times) b, a butter(order, [low/(fs/2), high/(fs/2)], btypeband) return filtfilt(b, a, data, axis-1) def ems(data, alpha0.01): # 指数移动标准化逐通道沿时间轴 out np.zeros_like(data) for i in range(data.shape[1]): x data[:, i, :] m np.zeros_like(x); v np.zeros_like(x) m[:, 0] x[:, 0]; v[:, 0] 1.0 for t in range(1, x.shape[1]): m[:, t] alpha * x[:, t] (1 - alpha) * m[:, t-1] v[:, t] alpha * (x[:, t] - m[:, t])**2 (1 - alpha) * v[:, t-1] out[:, i, :] (x - m) / np.sqrt(v 1e-6) return outbandpass的order4是经验值阶数太高会振铃ems的alpha控制记忆长度0.01 对应约 100 个采样点的窗口250Hz 下约 0.4 秒正好覆盖一个 mu 节律周期。注意 EMS 是逐 trial 逐通道做的别跨 trial 混算否则会泄露测试集统计量。2.2 滑窗切分与标签对齐别让一个 trial 只出一个样本BCI IV 2a 每个 trial 是 4 秒1000 点如果整段喂进去样本量只有几百Transformer 根本训不动。常见做法是滑窗窗长 2 秒500 点步长 100 点一个 trial 切出 6 个样本样本量翻 6 倍。标签沿用 trial 的类别。这里有个坑滑窗要避开 trial 开头 0.5 秒的提示 cue 阶段那段时间受试者还没进入想象状态硬切进去等于给模型喂噪声。def sliding_window(data, labels, win500, step100, start125): # start125 即跳过前 0.5s X, y [], [] for i in range(data.shape[0]): for s in range(start, data.shape[2] - win 1, step): X.append(data[i, :, s:swin]) y.append(labels[i]) return np.stack(X), np.array(y)win500对应 2 秒是 MI 任务里 ERD 现象最稳定的时长step100是 0.4 秒保证相邻窗有重叠但不至于冗余到过拟合。切完记得打乱并做分层划分训练/验证/测试按 7:1.5:1.5且划分要在 trial 级别做不能按窗随机分否则同一 trial 的窗会同时出现在训练和测试里指标虚高。3. CNNTransformer 模型从局部卷积到全局注意力的搭法3.1 CNN 前端怎么设计才不浪费参数量脑电是低信噪比、小样本CNN 前端不能照搬图像那套。我一般用两层时序卷积第一层 kernel 沿时间轴取 25约 0.1 秒捕捉短时波形第二层 kernel 取 10进一步抽象。通道数从 8 到 16 就够再多就过拟合。关键点是第一层卷积后接 BatchNorm 和 ELUELU 负半轴不为零对脑电这种有正负波形的信号比 ReLU 友好。池化用平均池化而不是最大池化最大池化会把微弱的 ERD 特征直接丢掉。import torch import torch.nn as nn class CNNFrontend(nn.Module): def __init__(self, n_ch22, f18, f216, kernel125, kernel210): super().__init__() self.conv1 nn.Conv2d(1, f1, (1, kernel1), padding(0, kernel1//2)) self.bn1 nn.BatchNorm2d(f1) self.conv2 nn.Conv2d(f1, f2, (n_ch, 1)) # 通道维卷积压成 1 self.bn2 nn.BatchNorm2d(f2) self.act nn.ELU() self.pool nn.AvgPool2d((1, 4)) def forward(self, x): # x: (B, 1, C, T) x self.act(self.bn1(self.conv1(x))) x self.act(self.bn2(self.conv2(x))) # (B, f2, 1, T) x self.pool(x) return x.squeeze(2) # (B, f2, T)conv2的 kernel 是(n_ch, 1)这是脑电里经典的「空间卷积」把 22 个通道压成 1相当于学一个空间滤波器比全连接省参数且可解释。pool的(1,4)把时间维降 4 倍500 点变 125 点正好给 Transformer 一个不太长的序列。3.2 Transformer 编码器位置编码和注意力头数怎么定CNN 输出是(B, f2, T)转成(B, T, f2)当序列每个时间步是一个 f2 维向量。Transformer 编码器用 2 层、4 头、前馈维度 64 就够毕设数据量撑不起更大的。位置编码用可学习的位置嵌入比正弦编码在小样本上更稳。这里有个反直觉的点脑电序列不长125 步注意力头数不是越多越好4 头时每头 16 维再分下去每头维度太低注意力矩阵学不出东西。class TransformerEncoder(nn.Module): def __init__(self, d_model16, nhead4, num_layers2, dim_ff64, max_len200): super().__init__() self.pos nn.Parameter(torch.randn(1, max_len, d_model) * 0.02) layer nn.TransformerEncoderLayer(d_model, nhead, dim_ff, dropout0.3, batch_firstTrue) self.encoder nn.TransformerEncoder(layer, num_layers) self.norm nn.LayerNorm(d_model) def forward(self, x): # x: (B, T, d_model) x x self.pos[:, :x.size(1), :] x self.encoder(x) return self.norm(x.mean(dim1)) # 时间维平均池化dropout0.3是毕设小样本的保命参数再低容易过拟合再高欠拟合。最后用时间维平均池化而不是取[CLS]因为脑电没有明确的「分类 token」语义平均池化更稳。整个模型参数量控制在 5 万以内训练集几百个样本也能收敛。3.3 训练循环与早停学习率、权重衰减和 batch 怎么配优化器用 AdamW学习率 1e-3权重衰减 1e-2batch size 32。损失函数交叉熵加 label smoothing 0.1 缓解过拟合。早停看验证集准确率patience 设 20 个 epoch。这里有个玄学脑电训练曲线抖动很大别用单个 epoch 的验证准确率做早停用 5 个 epoch 的移动平均否则会在一个偶然的高点上停掉测试时翻车。from torch.optim import AdamW from torch.nn import CrossEntropyLoss model FullModel() opt AdamW(model.parameters(), lr1e-3, weight_decay1e-2) crit CrossEntropyLoss(label_smoothing0.1) best_acc, patience, wait 0, 20, 0 for epoch in range(200): model.train() for xb, yb in train_loader: opt.zero_grad() loss crit(model(xb), yb) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) opt.step() # 验证略 if val_acc best_acc: best_acc, wait val_acc, 0 torch.save(model.state_dict(), best.pt) else: wait 1 if wait patience: breakclip_grad_norm_的 1.0 是防梯度爆炸Transformer 在脑电上偶尔会炸。label_smoothing0.1让模型别对某一类过度自信对左右手这种二分类尤其有用。4. 避坑与排查毕设里最容易翻车的 5 个地方4.1 现象训练准确率 99%测试只有 50%原因滑窗时按窗随机划分同一 trial 的窗同时进了训练和测试模型记住了 trial 的个体特征而不是类别特征。解决划分必须在 trial 级别做先分 trial 再切窗或者切完窗后按 trial id 分组划分。4.2 现象验证集 loss 不降准确率卡在随机水平原因学习率太大Transformer 的注意力还没学出东西就发散了。解决把学习率降到 1e-4加 5 个 epoch 的 warmup或者先用 CNN 单独训到收敛再解冻 Transformer。4.3 现象换一个受试者指标掉 20 个点原因脑电个体差异极大不同人的 mu 节律频率和空间分布都不一样。解决做被试独立subject-independent评估时用留一被试交叉验证并在训练时加被试间的数据增强如通道随机丢弃、时间抖动别指望一个模型通吃所有人。4.4 现象GPU 显存够但训练极慢原因数据加载器里做了实时滤波和 EMSCPU 成瓶颈。解决预处理离线做完存成.npy训练时只做张量搬运DataLoader的num_workers设 4 以上pin_memoryTrue。4.5 现象复现别人论文的指标差很多原因预处理细节没对齐比如滤波频段、窗长、是否用 EMS、划分方式。解决先固定一套预处理只调模型对比时把预处理写进论文附录别只写「用了带通滤波」这种模糊描述。5. 进阶技巧用注意力权重反推模型在看哪段脑电模型跑通只是及格线毕设要拿高分得让评审看到你理解模型在学什么。一个具体技巧是可视化 Transformer 最后一层的注意力权重看它集中在哪些时间步。如果模型真的学到了 ERD注意力应该在运动想象开始后 0.5–1.5 秒的区间有明显峰值而不是均匀分布。下面这段代码把注意力权重取出来画成热力图。def get_attention(model, x): # 取最后一层编码器的注意力 attn_maps [] hooks [] for layer in model.encoder.encoder.layers: h layer.self_attn.register_forward_hook( lambda m, i, o: attn_maps.append(o[1])) hooks.append(h) model.eval() with torch.no_grad(): _ model(x) for h in hooks: h.remove() return attn_maps[-1] # (B, nhead, T, T)拿到(B, nhead, T, T)后对 head 维和 query 维求平均得到每个 key 时间步的受关注程度再和原始脑电的 ERD 曲线叠在一起看。如果两者对不上说明模型可能走了捷径比如靠眼电伪迹分类这时候要回去检查预处理里的伪迹剔除。我一般还会做一个消融把注意力峰值区间之外的信号置零看准确率掉多少掉得越多说明模型越依赖那段。这个技巧写进论文的「可解释性分析」一节比单纯堆指标有说服力。最后说个我自己的习惯每次改完预处理或模型结构先在一个受试者上跑 5 个 epoch 看 loss 有没有正常下降确认没写错再上全量。毕设时间紧最怕的是跑了三天才发现标签对错了。希望帮到你。本文还有配套的精品资源点击获取