PyTorch实现CNN：从卷积原理到图像分类实战

上一章我们把全连接网络跑通以后训练循环、Dataset、优化器这些基础操作应该已经比较熟了。走到“五”主题自然转到一个在图像任务里绕不开的结构——卷积神经网络也就是常说的CNN。这一章的价值很直接它让模型开始“看”图片而不是把整张图的像素拉成一长条硬塞进全连接层。一路跟着这个系列写代码过来的话这一章结束后你应该能自己搭一个能跑的分类网络并且说清楚每一层参数为什么存在。1. 从全连接到卷积为什么图像任务要先改思路1.1 全连接层在图像上面对的三大难题先别急着写nn.Conv2d。我见过不少人直接抄一个CNN结构就跑loss一乱就不知道从哪下手。归根结底是因为不知道全连接网络到底卡在哪也就不理解卷积这步改动的意义。拿一张248×248的RGB图来说如果把它拉成一维向量长度就是248×248×3约18万个像素值。假设全连接网络第一层输入就是这么大隐藏层128个神经元光这一层的权重就是18万乘以128约2300万个参数。两层、三层下来参数规模轻松破亿。对普通机器来说这已经不是一个“训练慢”的问题而是存储和计算压力直接到头。这还不算最要命的。全连接层的另一个问题是它完全不顾空间结构。图片里相邻像素之间的关联是最强的比如猫的耳朵轮廓是一圈相邻像素共同构成的。全连接网络在进入第一层时就把这些像素的相对位置打散了模型不知道“第1行和第2行的像素可能相关”它只知道“第3个像素和第4万个像素是平等的”。这意味着同一个物体只要在图像里挪动几个像素网络就要重新学一遍。最后还有稀疏性问题。一张自然图像里真正有价值的局部特征并不是平均分布的猫的眼睛、胡须、耳朵边缘这些区域信息密度极高而大面积的背景可能几乎没有可学的东西。全连接网络对每个位置一视同仁把大量计算浪费在了无特征的区域上。1.2 卷积操作做了什么核心假设卷积层解决这三个问题靠的是两个从不挑明的假设局部性和平移不变性。局部性说的是图像中的特征绝大多数只在局部有意义。一个边缘、一个拐角、一段纹理它们的判断依据都来自附近几乘几的像素块远处的像素对“这是不是边缘”基本没有贡献。卷积核就是一个小窗口比如3×3在图像上从左往右、从上往下滑动每次只对窗口内的9个像素做加权求和。这一步把参数量从“全图连满”压缩到了“局部连接”。平移不变性说的是猫出现在图片左上角还是右下角它都是猫。卷积核在整张图上滑动的过程中用的是同一套权重这个窗口捕捉到边缘换到任何位置都能捕捉到同类边缘。模型不需要为每个位置重新学一套参数这也就是为什么卷积网络对物体位置的轻微变化不那么敏感。好明白这两个假设之后后面的所有东西——卷积核、步长、填充、池化——都是在回答同一个问题怎么在设计小窗口的同时控制特征图的尺寸和形态。2. 卷积网络的四个基础参数尺寸算不明白就别想修Bug2.1 卷积核选3×3不只是历史惯性刚开始我会纠结为什么大家都默认3×3不用5×5或者7×7这背后其实是个数学结论。假设原图大小是H×W经过一个7×7的卷积等效的感受野范围内可以用三层3×3的卷积来替换。三层3×3的参数总量是3×3×3也就是27个参数而单个7×7的参数是49个。并且三层之间夹着激活函数非线性表达能力反而更强。所以现代网络几乎都堆3×3小核把层数做深参数更少、表达力更好训练还更容易收敛。当然这不是说5×5完全没用。在某些输入分辨率很低的场景里比如28×28的经典手写数字数据集一层5×5卷积能更快覆盖整图区域减少层数。我自己实操时如果输入分辨率超过128×128就优先用3×3叠深分辨率很小用5×5开头往往更省事。2.2 步长与填充特征图尺寸的完整公式步长(stide)是卷积核每滑动一次的间隔。步长为1特征图尺寸基本不变步长为2特征图直接缩小为一半左右。填充(padding)是在图像四周补一圈0防止边缘像素被“扫”得太少。这里有个公式必须背下来。对输入尺寸H卷积核大小K填充P步长S输出尺寸是H_out (H 2P - K) / S 1注意这里的除法是向下取整。当初我踩过一个很隐蔽的坑输入尺寸是30核是3填充是1步长是2按公式算下来是 (302-3)/21 15.51 16.5向下取整是16。如果我没留意整数除法后面接全连接层时维度就会错一位报错信息往往出现在两个维度对不上的地方排查起来非常费劲。一般给PyTorch写模型时我习惯让卷积层保持“尺寸减半”的节奏也就是步长2加填充1配3×3核这样224会变成112112再变56层级关系很好记。2.3 池化层到底在干嘛能不能不要池化层常被误解成“降分辨率用的”这个说法只对了一半。它真正的价值是给网络一个局部的“极大值判断”。比如最大池化在2×2窗口内取最大值潜台词是“只要窗口内有一处强响应就认为这个区域存在对应特征”。平均池化则更温和适合在最后把整张特征图压成一个向量时使用计算损失前的全局平均池化经常能替代全连接层大幅减少参数。我的建议是在现代结构里池化不是必需组件。很多网络已经用步长为2的卷积代替池化效果差不多并且还能把层数做深。但如果你看的教程还带池化也不用急着删它的作用主要是在早期特征图还很大的时候快速降低计算量。算子本身没有参数不参与反向传播更新所以留着也不会增加训练负担。3. 用 PyTorch 组装 CNN组件、顺序与维度3.1 Conv2d 与 BatchNorm2d 的参数细节nn.Conv2d最常用的参数我逐个说一遍in_channels输入通道数。第一层就是图像的通道数比如RGB是3灰度图是1。out_channels输出通道数也是这层卷积核的个数。每个卷积核负责从输入中提取一种特征。kernel_size卷积核尺寸传int类型就代表正方形核。stride步长。padding填充传same也可以自动保持尺寸但很多老代码还是显式传数字。dilation空洞卷积的空洞率。默认是1平时不用动。需要扩大感受野又不想加核大小或加深层数时才设置。bias默认True。如果后面接了nn.BatchNorm2dbias建议设为False因为BN层会做归一化前面的bias会被抵消掉纯属浪费参数。nn.BatchNorm2d同样要注意几个点。它需要传num_features也就是输入通道数。在训练阶段它维护一个均值方差的滑动估计在验证阶段直接用训练时的统计量。如果你用model.eval()切换了模式但忘记调验证结果会有比较明显的偏差这一点我在后面会专门展开。我自己的习惯是Conv2d - BatchNorm2d - ReLU固定连用步长和通道数按需要调。不要在ReLU后面接BN也不要让卷积出完结果直接进损失函数那样数值范围不稳定模型前期收敛会飘。3.2 一个可以直接跑通的小网络结构下面是一个适合图像分类的小CNN输入是224×224的RGB图输出是10类。我刻意把结构写得很直白方便对照特征图尺寸import torch import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes10): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 16, kernel_size3, stride1, padding1), # 224x224x16 nn.BatchNorm2d(16), nn.ReLU(inplaceTrue), nn.Conv2d(16, 32, kernel_size3, stride2, padding1), # 112x112x32 nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.Conv2d(32, 64, kernel_size3, stride2, padding1), # 56x56x64 nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.Conv2d(64, 128, kernel_size3, stride2, padding1), # 28x28x128 nn.BatchNorm2d(128), nn.ReLU(inplaceTrue), ) self.avgpool nn.AdaptiveAvgPool2d((1, 1)) self.classifier nn.Linear(128, num_classes) def forward(self, x): x self.features(x) x self.avgpool(x) x torch.flatten(x, 1) x self.classifier(x) return x这里有个关键设计用全局平均池化把任意尺寸的特征图压成1×1再接全连接。只要前面层尺寸兼容最后全连接层的输入就一定是128不用自己手算尺寸也别再用固定大小的池化窗口去碰运气。3.3 Sequential、forward 与维度链路检查模型写完之后我强烈建议先做一次维度冒烟测试不要直接丢进训练循环。写法很简单net SimpleCNN(num_classes10) fake_input torch.randn(4, 3, 224, 224) output net(fake_input) print(output.shape) # 期望 [4, 10]这一步能拦下80%的维度错误。由于PyTorch的报错通常只在维度不匹配处显示而不会告诉你“你理想中的特征图是多少”所以养成先跑假数据的习惯能省很多时间。我在给比较深的网络调试时还会在features后面临时加一个print(x.shape)把中间过程的尺寸打出来确认每一层变化符合预期。调完之后再删掉。4. 完整实操训练一个图像分类模型4.1 数据集准备与加载两个坑先说图像任务的常规思路是先用torchvision.datasets.ImageFolder加载按文件夹分类的图片数据。这里有两个坑我每次都提醒自己第一个是图片尺寸归一化。如果你只是用transforms.Resize直接拉伸猫会变成细长条狗的宽高比也会错。不要想当然用transforms.CenterCrop或者transforms.Resize((256,256))再CenterCrop(224)至少保证输入内容居中比例不变。训练时还可以加随机裁剪、水平翻转这些数据增强但验证集不能用随机增强只做Resize和Normalize。第二个是Normalize的均值方差。很多人直接从别人的代码里复制mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]这是ImageNet数据集的统计值。如果你的图片不是标准自然图像比如医学影像、卫星照片最好自己算一遍。计算方式不复杂import torch from torchvision import transforms from torch.utils.data import DataLoader mean 0.0 std 0.0 total 0 for images, _ in dataloader_for_stats: batch images.size(0) images images.view(batch, images.size(1), -1) mean images.mean(2).sum(0) std images.std(2).sum(0) total batch mean / total std / total实际任务如果样本量只有几千直接沿用ImageNet归一化也行。但样本分布偏差很大时自己算的归一化值往往能让loss曲线平稳很多。4.2 训练循环的完整代码下面是一个标准的训练验证循环我按实际项目中用的写法整理了一遍import torch import torch.nn as nn import torch.optim as optim from tqdm import tqdm device torch.device(cuda if torch.cuda.is_available() else cpu) model SimpleCNN(num_classes10).to(device) criterion nn.CrossEntropyLoss() optimizer optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-4) scheduler optim.lr_scheduler.StepLR(optimizer, step_size5, gamma0.5) epochs 15 best_val_acc 0.0 for epoch in range(1, epochs 1): model.train() train_loss 0.0 train_correct 0 total 0 for images, labels in tqdm(train_loader, descfEpoch {epoch}): images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() train_loss loss.item() * images.size(0) _, preds torch.max(outputs, 1) train_correct (preds labels).sum().item() total labels.size(0) train_acc train_correct / total train_loss train_loss / total model.eval() val_correct 0 val_total 0 with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, preds torch.max(outputs, 1) val_correct (preds labels).sum().item() val_total labels.size(0) val_acc val_correct / val_total print(f[Epoch {epoch}] train_loss: {train_loss:.4f}, train_acc: {train_acc:.4f}, val_acc: {val_acc:.4f}) if val_acc best_val_acc: best_val_acc val_acc torch.save(model.state_dict(), best_model.pt) scheduler.step()有几个细节我想强调。optimizer.zero_grad()放在每个batch的计算前而不是整个epoch一次否则梯度会在batch之间累积。用model.eval()切到验证模式之后必须用torch.no_grad()包住省内存也防止误构建计算图。保存模型时我倾向于只保存state_dict不整模型这样后面加载起来更灵活。4.3 训练过程中必须盯住的三个信号loss下降是第一信号。如果epoch翻了好几轮loss纹丝不动或者只在最后一位小数徘徊先别调模型架构直接检查学习率是不是太大或太小。一般经验是从1e-3起步如果loss在初期出现浮动不降降到1e-4再试。第二个信号是train_acc与val_acc的分叉。训练集准确率接近99%验证集还停在80%左右这就是过拟合的典型表现。这时候优先看数据增强能不能再加比如随机旋转、颜色抖动、MixUp其次考虑减小模型容量或加dropout。第三个信号我已经吃过亏val_acc上升但train_acc也一直升说明模型容量扛得住学习率也没问题。真正要担心的是val_acc突然掉了几个点然后卡住不回来这往往是学习率步长设置过大出现震荡。此时先把learning rate调小一个数量级或把scheduler的step_size调大。5. 我在跑CNN时反复踩的坑和排查方法5.1 loss为NaN、不收敛的排查顺序先看数据里有没有NaN。我自己碰到过读取图片时有些文件损坏被PIL读成异常值训练很快就NaN。排查方法很简单在Dataset.__getitem__里对tensor加一句torch.isfinite()检测或者使用torch.nan_to_num临时兜底。再看网络初始化。有些结构的初始化不当会让梯度在深层爆炸。最简单的方式是把nn.Conv2d换成PyTorch默认初始化然后用BN层兜底。如果手动设置了很高的初始权重出现NaN的概率会明显上升。最后看学习率。学习率太大是NaN的一个重要来源尤其配合AdamW时表现得特别诡异它可能前几个epoch正常突然某一步梯度爆炸把权重冲出合理范围。遇到这种把学习率降到1e-4或者在clip_grad_norm_加上梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)5.2 GPU显存溢出OOM怎么处理OOM的常规解法我排个序给你参考。最优先调DataLoader的batch_size直接减半这是最省事的方式但注意别减到模型收敛困难。其次是降低输入尺寸把Resize从256降到192显存占用大概能省40%代价是精度有可能下降几个点。还有一招很多人忽略在验证阶段用torch.no_grad()可以减少很大一部分显存占用因为验证时不存梯度。如果你已经在验证阶段用了还OOM那大概率是网络里某个分支创建了额外的计算图。比如在forward里打印中间张量、或者用Tensor做loss的中间存储这些都会保留计算图。5.3 验证集比训练集还高先别高兴这种情况偶尔出现尤其是用ImageFolder凑数据时。如果验证集的分布和训练集差异不大验证准确率不可能长期领先。更可能的原因是训练阶段忘记model.train()模型一直用训练时BN的统计量等于验证数据被轻量推理了一遍或者数据增强过于激进把训练图像破坏得太厉害模型被难化了。有一次我碰到val_acc 86而train_acc只有75排查下来发现训练loader里加了RandomResizedCrop(scale(0.1, 1.0))很多图被裁得只剩一个角。把scale下限调到0.4之后两个准确率就正常一致了。5.4 实用的调参顺序建议如果你刚接触CNN调参我建议按这个顺序来先把batch size固定成一个能跑的值比如32然后调学习率让loss能稳步下降接着确认val_acc的大概水平再回头调整模型深度和通道数。不要在第一步就去学各种花哨的正则化。学习率可以从1e-3开始跑5个epoch看走势。如果loss降得太慢试着翻倍到2e-3如果训练震荡直接降回3e-4。确认学习率合适后再考虑加数据增强、加weight decay、加深网络。到最后如果精度还是差一点我才会去尝试预训练模型做迁移学习而不是从头硬train一个随机初始化的庞大网络。预训练模型用torchvision.models里现成的就行加载后把最后全连接层替换成目标分类数。我个人在实际操作中的体会是CNN入门阶段真正吃时间的地方不是模型代码本身而是维度调试和训练过程的理解。你只要把尺寸计算公式背下来、把一次完整训练循环跑熟、把过拟合和OOM几个常见问题的排查方法记住后面看任何网络结构都会快很多。这个系列的下一章基本可以自由地去碰更复杂的网络形态了但基础始终是这里打下的。