对比学习遇上半监督分类：端到端联合训练机制与避坑指南

这篇笔记想拆的是一类把对比学习和半监督分类放在同一个框架里训练的方法。我读这类论文最深的感受是很多初学者以为半监督分类就是“先用对比学习预训练再拿少量标注数据微调”但近两年的工作几乎都在做端到端联合训练对比分支和分类分支共享特征互相影响。这篇笔记会把你需要知道的核心机制、训练流程、关键参数和常见坑都说清楚适合正在复现同类方法、或者打算把半监督思路用到自己数据上的朋友参考。1. 先理清问题对比学习凭什么能帮半监督分类1.1 半监督分类难在哪缺的是不是只有标签半监督分类的核心设定很直白手里只有少量带标签样本比如每类几十张但未标注数据有成百上千张。模型要在这部分未标注数据上找到有用的结构信息才能缓解标注不足带来的过拟合。很多人第一反应是“那我把未标注数据打上伪标签不就行了”但实际做起来问题很多。一是伪标签会错错标签一旦进入训练就会变成噪声甚至越训越偏。二是一致性正则类方法比如对两个扰动版本预测要一致虽然稳定但它更关注输出层面的平滑性不一定能学到真正有判别力的特征。三是如果在低标注比例下直接硬train一个分类器特征空间很难拉开各类别边界模糊模型记住的往往是“小样本上的偶然规律”。对比学习解决的是另一个层面的问题它不依赖标签把每个样本的增强视图当作正样本对把同在一个batch里的其他样本当作负样本通过拉近正样本、推开负样本让网络学到一种相对平滑且结构良好的特征分布。这种表示本身就已经把未标注数据的分布信息编码进去了分类器再在这个特征空间上工作就需要少得多的标注样本。我自己的体会是半监督分类的难点不只是“少标签”而是“怎么让大量未标注数据真正参与训练”。对比学习的价值恰好就是提供了一个不依赖标签的、稳定的训练信号。1.2 对比学习和半监督结合的三种主流设计把对比学习嵌入半监督框架论文里的做法大致可以归成三类。第一类是两阶段方案。先用SimCLR、MoCo这类对比学习在全部数据包括标注和未标注上做自监督预训练然后把backbone固定或微调再在标注数据上训练分类头。这个路线实现简单容易稳定但问题在于两阶段目标不一致——预训练阶段只优化对比损失没有显式利用标签微调阶段又可能把预训练学到的好结构破坏掉。结果往往是预训练赚到的表示能力在微调后半程被标签噪声给拉回去。第二类是端到端联合训练。整体loss是两项相加监督分类loss负责用标注数据保证决策边界正确对比loss负责用全部数据塑造特征空间。两项共享同一个backbone对比分支可以看作是对分类主任务的正则化。这类方法比较接近我下面要讲的论文核心设计也是目前最主流的做法。它的好处是目标一致分类和对比互相促进难点是联合训练容易不稳定两个loss的权重、对比损失的增强策略、伪标签的阈值都得配套调。第三类是原型级对比。不直接拿增强视图做正样本对而是先用伪标签或聚类得到类中心原型然后让每个样本的特征靠近自己这个类的原型、远离其他原型。这种方法在类别数不多、类间差异明显的数据集上效果很好而且对伪标签噪声的容忍度比样本级对比更高因为原型是对一组样本的统计平均个别错标签的影响会被平摊掉。三类方法的适用场景差异很大我整理了一个表方便对照。设计路线训练目标对伪标签依赖稳定性适合场景两阶段预训练微调先对比后分类低高标注极稀疏先学通用表示端到端联合训练分类loss对比loss中中标注有但不够希望二者互促原型级对比分类loss原型对比loss高中高类别数固定类间差异明确的场景2. 方法核心机制InfoNCE、数据增强和投影头2.1 InfoNCE损失是怎么让同类聚拢的对比学习里最常用的损失函数是InfoNCE理解它基本就理解了对比分支的整个行为逻辑。公式可以写成这样这是标准的infoNCE形式我用伪公式来表示L_c -log( exp(sim(z_i, z_i)/tau) / sum_j exp(sim(z_i, z_j)/tau) )其中z_i是样本i经过编码器和投影头后的特征z_i是它的正样本通常是同一张图另一个增强视图z_j是batch里其他样本的特征包含负样本。sim()是余弦相似度tau是温度系数。这个loss的直觉解释是我希望样本i和它的正样本之间的相似度相比和所有负样本的相似度在数值上越突出越好。负样本集合越大问题就越有挑战性模型能学到的判别信息通常也更丰富。温度系数tau对这个公式的行为影响非常关键。tau设得比较大比如1.0softmax分布会变得更平滑所有负样本的梯度都相对温和训练稳定但特征区分度可能不够。tau设得很小比如0.05loss会重点关注那些和正样本接近的困难负样本逼着模型把它们推开特征会更尖锐但非常容易出现训练不稳定的问题。我在实际实验里通常从0.07到0.2这个区间开始搜先跑一个小数据集确认训练曲线稳了再放大batch size。另外要注意一个容易忽略的点InfoNCE的精度上限受负样本数量限制。在同一batch里做对比负样本最多是batch size减一但如果用动量队列把之前batch的特征缓存起来就能提供成千上万个负样本对比效果提升会很明显。这也是为什么很多论文用MoCo这种带队列的结构做半监督对比分支。2.2 增强策略好表示的一半功劳在这里很多时候模型学不出来不是网络结构有问题而是数据增强没给够正样本对之间的挑战性。如果增强太弱正样本对太容易区分模型根本不需要理解语义直接靠低层颜色、纹理特征就能把两个视图对上增强太强又会把语义信息破坏导致正样本对本身就不一致。半监督框架里的增强通常分成两路。弱增强随机裁剪加水平翻转用于生成伪标签保证预测一致性强增强RandAugment、Cutout、随机颜色扰动等用于训练对比分支和监督分类逼模型在更难的扰动下保持特征稳定。这种“弱增强生成目标、强增强提供挑战”的设计算是半监督对比方法的标配。在增强选择上我踩过一次坑一开始只做了随机裁剪和水平翻转对比loss降得很快但下游分类精度迟迟不涨。后来查了一下正样本对的相似度分布发现几乎所有正样本对的余弦相似度都接近0.95说明任务太简单了特征没有在更高语义层面对齐。加入颜色扰动、高斯模糊之后正样本对相似度降到0.7左右模型不得不去学更鲁棒的结构特征分类精度才明显抬升。这里有个通用规律如果对比loss下降异常快先怀疑增强太弱如果对比loss波动大、不收敛再怀疑增强太强把正样本对破坏了。2.3 投影头为什么只在训练阶段使用投影头projection head是对比学习里一个非常不起眼但是作用巨大的模块。它通常是两层MLP加BatchNorm把backbone输出的特征映射到一个新的向量空间对比loss在这个空间里计算。投影头的意义在于backbone直接输出的特征往往是高维且包含大量任务无关信息的直接在原始特征空间上做对比模型有更好的捷径可取。比如它可以靠“背景颜色”把同一张图的增强视图拉近但这种特征对分类没有帮助。投影头给模型提供了一个“丢弃信息”的缓冲区域backbone可以把有帮助的结构信息保留在主特征里而投影空间的对比loss负责筛选哪些信息应该被压缩。正因为这个原因训练完之后使用特征时一般用的是backbone输出的主特征而不是投影头输出。分类头也是挂在主特征上的。这个细节在复现时特别容易搞错如果直接把投影头输出拿去做分类评估精度通常会掉不少。3. 实操落地训练流程、关键配置与实验评估3.1 端到端训练流程伪代码下面这段伪代码是我根据这类论文的常见设计归纳出来的端到端训练主循环方向上有公共性具体loss权重和数据加载细节需要结合你自己的数据集微调。# 伪代码只展示核心逻辑 for x_l, y_l, x_u in loader: # 1. 弱增强监督分支 pred_l model(weak_aug(x_l)) loss_sup CrossEntropy(pred_l, y_l) # 2. 伪标签生成只在置信度足够高时参与 with torch.no_grad(): prob_u softmax(model(weak_aug(x_u))) conf, pseudo_label prob_u.max(dim1) mask conf threshold # 3. 强增强对比分支 z1 projection(model(strong_aug(x_u))) z2 projection(model(strong_aug(x_u))) loss_contrast info_nce(z1, z2) # 4. 对高置信度未标注样本直接用强增强做一致性监督 loss_pseudo CrossEntropy(model(strong_aug(x_u))[mask], pseudo_label[mask]) loss loss_sup lambda_c * loss_contrast lambda_u * loss_pseudo loss.backward() optimizer.step() update_momentum_encoder()这个流程里有三个关键设计。第一伪标签不是每次都进对比分支。虚线逻辑里我用了一个置信度阈值threshold只有预测概率足够高的样本才用来做伪标签监督避免低质量噪声直接污染训练。对比分支则不吃伪标签它只依赖增强视图的配对关系所以即使没有标注也能稳定提供梯度。第二对比分支的输入建议用强增强这样正样本对之间的变化足够大表示更容易学到抽象语义。个别实现会同时混入弱增强的特征做对比效果也不错但训练成本更高。第三分类loss和对比loss的权重不能一上来就固定。早期模型能力弱伪标签置信度普遍低如果强行把对比loss拉满特征会往“自监督结构”偏不一定贴合分类目标。我习惯先用小的lambda_c比如0.1训练前几个epoch让分类器先有一个粗糙的预测能力再逐步把对比loss权重提上去。这种做法有人叫它ramp-up在FixMatch类方法里很常见。3.2 关键超参数配置表我整理了一份在小规模图像数据集比如CIFAR-10这类上起作用的初始配置注意这只是起始点不是所有数据集都直接照抄。配置项推荐值说明backboneResNet-18/50参数量适中利于观察对比分支效果输入分辨率32x32小图/ 224x224大图增强强度需随分辨率调整batch size256标注未标注混合对比分支最好512以上内存不够就用队列负样本来源当前batch 动量队列队列长度建议4096温度系数 tau0.10.07~0.2之间搜索弱增强随机裁剪水平翻转用于伪标签生成强增强RandAugmentCutout用于对比分支和监督强一致性优化器SGD momentum0.9 weight_decay5e-4对比学习不适合Adam冲太猛容易崩学习率0.03带warmupcosine schedule总epoch约200伪标签阈值0.95低标注比例时可以放宽到0.9batch size这一项值得单独说。InfoNCE的效果直接依赖负样本数量负样本越多样本被推开的细粒度越高学习到的表示越有判别力。如果显存有限常见的替代方案是维护一个特征队列把过去几个batch的特征存下来一起作为负样本来源。这类队列可以让负样本数量显著大于batch size效果上和增大batch size接近但需要额外写一点内存管理逻辑。学习率也很容易出事。对比学习和纯监督分类对学习率的敏感度不同纯分类用0.1到0.3都能跑但联合训练里学习率太大会让对比分支先崩。我通常先用单分类模型跑通一个baseline再把学习率降到原来的三分之一作为联合训练的起点这样至少保证训练早期不会原地爆炸。3.3 评估指标和基线怎么选才能说明问题复现这类论文最怕的就是自己跑得挺好但说不清楚好在哪里。我的建议是至少围一条最小评估闭环在你自己的数据集上固定同一个backbone、同一个增强策略、同一个batch size然后对比四种设置只用标注数据的监督训练下限用于看标注稀缺程度对比学习预训练线性评估看特征本身的判别力一个经典半监督基线比如MixMatch、FixMatch你要复现的对比学习半监督方法。评价指标不要只用全局top-1 accuracy。低标注比例下某些类可能只有一两个标注样本全局精度会被多数类带偏。建议额外看每类recall的调和平均或者macro F1才能反映少数类的表现。另外半监督方法的实验对随机种子非常敏感同一个方法换一个种子可能波动2到3个点所以跑评估时至少跑三个种子取均值和方差不要拿单次结果出去对比。4. 踩坑记录伪标签噪声、特征崩塌和复现差异4.1 伪标签在对比分支里的“确认偏差”放大半监督方法最经典的陷阱是“确认偏差”模型一开始把某些样本的伪标签打错了后续训练不断强化这个错误最后模型对错误预测非常有信心。这个问题在引入对比学习之后会被放大因为对比学习本来就是拉近相似样本如果两个样本都被同一个错误伪标签驱动它们的特征会被拉得极近要想再解开就非常费力了。我在复现过程中给过对比分支一个实验版本让对比分支的正样本对变成“样本自身强增强视图同类伪标签样本”结果早期精度涨得快中期开始突然掉点最后比不用伪标签的版本还低。问题根源就是确认偏差。后面改成对比分支完全不使用伪标签只用增强视图作正样本对整个训练过程就稳健多了。一条实操建议哪怕论文里写了用伪标签参与对比分支你先跑不带伪标签的对比版本作为基线确认对比分支本身是有效的再加伪标签的变体。加了之后如果发现中后期掉点优先检查伪标签置信度的分布看看是不是错误样本也在高置信度区间。4.2 特征崩塌的诊断与紧急处理特征崩塌是对比学习里最诡异的问题之一现象是loss看起来在正常下降但特征的分布坍缩到一个很小的区域不同类别的表示几乎完全重叠。如果用t-SNE可视化会看到一团混沌聚类效果很差。出现这种情况本质是模型找到了一个“最小化loss但不创造有用结构”的捷径。诊断特征崩塌我有一个快速方法取验证集特征先算每个样本特征向量的L2范数再做一次全局特征的协方差矩阵看对角线方差。正常训练下特征方差分布在比较广的值域崩塌时方差会极小几乎所有特征都集中在同一个区域。更直接的判断是算一下随机抽1000个样本特征两两之间的余弦相似度如果绝大多数相似度都高于0.8基本可以断定已经开始崩塌了。解决方法从这几个方向排查投影头是否使用了BatchNorm如果没有加上试试温度系数是否过小小于0.05时要警惕batch size是否太小导致负样本过少数据增强是否过强把正样本对变到语义不可分。我印象里最有效的一招是换更强的投影头以及把增强中“破坏性过强”的操作比如比例很高的Cutout权重调低。4.3 换数据集后复现精度上不去怎么办对比学习半监督方法在图像类数据集上容易复现但换到纹理型图像或者文本分类上精度经常会莫名其妙的低。这不是方法失效了更多是核心超参数需要跟着数据特性走。现象可能原因排查方法对比loss下降但分类不涨增强策略让正样本对过于简单增强中加入更难的扰动检查正样本对余弦相似度分布训练波动大精度震荡学习率过高或温度系数过小降低学习率提高tau到0.2附近两类方法差距在2%以内半监督增益被基线“吃了”检查基线的增强策略是否已包含强增强统一增强配置再比加对比分支后反而不如纯半监督对比loss权重过大调低lambda_c先让分类loss主导训练标注比例升高后对比增益变小正常现象说明标注信息已足够对比分支更多起正则作用文字数据的情况略有不同对比分支通常建在句子嵌入上正样本对来自同一个句子的两个dropout或两个随机片段负样本则是batch里其他句子。这种情况下batch size不宜拉太大因为文本语义空间复杂简单把大量负样本推开可能破坏语义结构。做过这类实验后我一般会把负样本数量控制在256以内。最后再分享一个自己反复用到的经验这类方法在你自己的数据上不一定需要严格复现论文里的系数。论文里的超参数是为特定数据集调的你换数据后的第一步应该是用小规模实验快速确认“对比分支是否在提供正向收益”怎么判断呢单独跑一个去掉对比分支的半监督baseline再跑带对比分支的版本标注比例都取10%左右两个实验各花半天时间如果收益是正向的后面再花时间调超参。这样做可以节省大量试错成本也避免陷入“复现但不知道在调什么”的困惑。