AdamW解耦权重衰减：原理、对比与实战调参指南

训练一个模型时优化器的选择看起来只是代码里的一行但踩过坑的人都明白这行字能决定你是加班调参还是准点下班。很多人用过Adam也知道有个叫AdamW的“升级版”但问到底层差异只能答出一句“AdamW做了decoupled weight decay”。再追问一句“为什么解耦就好”就说不清了。这篇文章就把Adam和AdamW的账算清楚从两个优化器的更新公式差异到weight decay在自适应学习率下的失效原理再到实际训练中怎么切、怎么调、踩过哪些坑一篇讲全。适合正在用Adam但效果不理想、想换AdamW又不知道怎么下手的读者也适合那些用过AdamW但想搞明白“它到底升级了什么”的朋友。1. 先说清楚Adam在权重衰减这件事上“用了钝刀子”1.1 Adam的两件核心武器动量与自适应学习率Adam之所以流行是因为它同时干了两件事。第一件是累积梯度的指数滑动平均相当于给参数更新加了“动量”梯度方向如果持续一致步伐就越来越快如果来回震荡动量就会把抖动抹平。第二件是累积梯度平方的指数滑动平均用每个维度自己的梯度历史去缩放学习率某个维度的梯度一直很大就少走一点某个维度梯度一直很小就多走一点。这就像开车时既看了大方向又针对每个轮胎的抓地力单独调整油门。具体更新可以写成这样m beta1 * m (1 - beta1) * grad v beta2 * v (1 - beta2) * grad * grad m_hat m / (1 - beta1 ** t) v_hat v / (1 - beta2 ** t) param param - lr * m_hat / (sqrt(v_hat) eps)其中m是一阶动量v是二阶动量m_hat和v_hat是前几步偏置修正后的版本因为训练刚开始时动量的累积量太小直接除以1 - beta^t才能把第一大步拉回正常尺度。这套机制让Adam在自然语言处理、大规模稀疏特征场景下表现特别稳也是它长期霸榜的原因。但问题恰恰出在“每个维度单独缩放学习率”这件事上。如果优化器在更新参数前把梯度向量按维度做了一次不均匀的“拉伸”那么混在梯度里的其他信号——比如正则化项——也会被一起拉伸从而失去原有含义。AdamW要解决的正是这个不太容易一眼看穿的隐患。1.2 当L2正则化遇上归一化问题就藏在这里很多教程会把weight decay和L2正则化混着讲因为在一个非常经典的设定下它们确实等价。以SGD为例假设参数更新写成param param - lr * (true_grad wd * param)展开就是param (1 - lr * wd) * param - lr * true_grad。这个式子左边那一项本质是在每一步更新完成后把参数整体乘上一个接近1但小于1的系数起到“权重衰减”的作用。所以在SGD里往损失函数里加一个wd * param^2的L2惩罚项和直接做weight decay效果几乎一模一样。但换成Adam事情就变了。Adam在做真正更新前会把包含L2正则项的梯度除以sqrt(v_hat) eps。这里v_hat是梯度平方的滑动平均而正则项wd * param也参与了v的计算并且之后又被同一个人为归一化因子缩放。问题有两层第一层正则项的“力度”被二阶动量缩放。如果某个参数的原始梯度很大、累积的v很大那么正则项wd * param被sqrt(v_hat)一除实际作用就变得极其微弱如果某个参数梯度很小、v也很小正则项又会被放大。也就是说名义上你的L2惩罚系数是0.01但实际上每个维度感受到的惩罚力度各不相同而且幅度会随着训练动态变化。第二层Adam更新中动量的平滑会让正则作用变得更扭曲。因为m里面已经混入了历史梯度信息而在梯度方差较大的维度上正则项对m的贡献会被后续的v归一化稀释掉。结果就是Adam L2正则化在长期训练中对模型权重的“收缩”作用远不如预期模型更容易过拟合尤其在Transformer这类参数量大、训练步数多的模型上格外明显。这其实是一个典型的“整体流程正确、局部环节失效”的问题。单独看每一步Adam都没做错动量是对的自适应学习率是对的L2正则也是对的。但把它们组合在一起就产生了一个从未被显式设计过的副作用。这也是为什么后来大家把“weight decay”和“L2正则化”在自适应优化器里彻底分开讨论。1.3 一张表看懂两种处理的本质差异为了直观我把Adam加L2正则和AdamW的权重衰减两条路径列在一起对比。对比维度Adam L2正则化AdamW 解耦权重衰减正则作用施加位置先混入梯度再被优化器处理直接施加在参数上是否受二阶动量归一化影响是每个维度力度不同否所有维度衰减率一致对不平滑梯度的敏感度高正则效果随机化低稳定可控与SGD中weight decay的等价性不等价等价实际训练中的过拟合抑制偏弱需要加大系数稳定常规系数即可这张表其实就是AdamW设计动机的浓缩版。AdamW在参数更新时把原先隐藏在梯度计算里的权重衰减项“拿出来”放到除以二阶动量之后执行。改动很小效果却很直接每个维度的权重都按同一个固定比率向零收缩不再被梯度方差的波动牵着走。2. AdamW做了什么把权重衰减“解耦”出来2.1 一句话版本的AdamW更新逻辑AdamW的完整名字是Adaptive Moment Estimation with Decoupled Weight Decay核心就是“解耦”。它认为权重衰减不应该作为L2惩罚混进梯度而应该作为一种独立于梯度、独立于自适应缩放、纯粹作用于参数本身的力。用公式表示AdamW在每一步更新时执行的是类似这样的逻辑update m_hat / (sqrt(v_hat) eps) weight_decay_force wd * param param param - lr * update - lr * weight_decay_force注意这里的关键区别weight_decay_force没有进m和v也没有被sqrt(v_hat)归一化。无论某个维度的梯度方差有多大正则项都按完全相同的比例对参数做收缩。如果换成框架内部的伪代码通常是这样# 每个 step 内部的大致逻辑与你使用的框架 API 对应 step_size lr * math.sqrt(1 - beta2 ** t) / (1 - beta1 ** t) decay_factor 1.0 - lr * weight_decay # 先按统一比例收缩参数 param.mul_(decay_factor) # 再做带动量的参数更新 param.add_(-step_size, m / (sqrt(v) eps))第一步把参数整体乘上(1 - lr * wd)类似于SGD里的经典改动第二步再走Adam自适应的动量更新。两步互不干扰。由于现代深度学习框架都提供了对应的AdamW优化器接口实际使用中你不需要自己实现这套逻辑但脑子里有这份“两步走”的结构调参时才知道每个参数在影响哪一步。2.2 为什么解耦之后效果会更好一个可感知的类比要理解这个改动为什么能带来明显的效果提升可以做一个类比。想象你在健身房跑跑步机上做俯身拉伸。跑步机的皮带一直在往后拉你你既要维持平衡又要把身体压低动作很容易变形。这就像Adam的L2正则化正则项和梯度一起被放进了动量系统被同一个速度感知器调节。结果“拉伸”的效果不稳定时强时弱。AdamW的做法是让你先关掉跑步机站到地面上实实在在地做一组俯身拉伸再回到跑步机继续跑。拉伸的幅度完全由你自己控制不受皮带速度影响。对应到训练中就是先给参数一个确定的、均匀的衰减力然后再去执行梯度驱动的更新。这个看似“伤动不了筋骨”的顺序调整在实际训练中却带来了两个非常实在的好处。第一个好处是正则力度变得可预测。以前用Adam加L2正则你可能为了压制过拟合反复调wd但效果总是不跟手。换成AdamW之后wd的行为变得明确设成0.01参数每步就稳定衰减约lr * 0.01不存在被梯度方差扰乱的问题。这让超参数的语义更清晰也让实验对比更加公平。第二个好处是能更好地配合学习率调度。很多现代的Transformer训练实践都用了带warmup的cosine学习率衰减。在这种计划下训练后期学习率降得很低AdamW的权重衰减也会同步放缓这对模型收敛后的泛化表现非常友好。而Adam加L2正则由于正则力度被二阶动量扭曲学习率调度的收益会被部分抵消。当然AdamW也不是万能药。在部分纯CNN图像分类任务上传统SGD加动量仍然能训出更好的泛化结果。这是因为自适应优化器对梯度历史的平滑处理会让模型在参数空间中倾向于找到比较“尖锐”的极小值点而SGD则更容易到达相对“平坦”的区域泛化往往更好。AdamW解决了正则失效的问题但并没有改变这种由自适应归一化带来的隐性倾向。2.3 框架层面对“解耦”的实现差异虽然“解耦”这个思想是统一的但不同框架或者同一个框架的不同版本在实现细节上可能略有差异。最容易踩坑的版本差别在于有些库里的AdamW真的实现了解耦权重衰减有些老代码里的Adam加weight_decay其实还是老式L2正则混入梯度的逻辑。主流Python深度学习框架里默认的AdamW实现基本都是decoupled风格即权重衰减的系数直接作用在参数更新上不会混入梯度的一阶或二阶动量。你只需要直接调用和设置参数即可。但需要注意部分旧版本的优化器实现里如果传入的weight_decay字段没有单独处理理论上仍然可能被当成L2正则项处理。另一个细节是“偏置修正”。AdamW继承自Adam早期几步动量偏小所以也同样需要偏置修正。有些框架的AdamW实现默认做了修正有些则提供了一个类似correct_bias的开关。如果你在使用那些需要手动开这个开关的封装库务必确认它处于开启状态否则训练刚开始的阶段容易出现Loss异常跳变。我最常遇到的坑其实是“新库老参数”。有很长一段时间大家习惯把weight_decay设置为0.01但如果你拿到一份旧代码目标库底层还是老式的Adam实现那你就等于在用Adam加L2正则跟论文里说的AdamW效果天差地别。拿到任何一份训练脚本我建议先花半分钟看一眼优化器定义处到底用的哪个类然后再谈调参。3. 实际训练怎么选从Adam换到AdamW的完整思路3.1 哪些场景值得果断切到AdamW基于当前的主流实践只要你的训练任务属于下面这几类直接把默认优化器改成AdamW大概率是划算的。第一类是Transformer结构的模型。不管是做文本分类、生成式预训练还是多模态模型Transformer架构对优化器非常敏感业内默认配置普遍是AdamW加Warmup加余弦学习率。第二类是训练步数很长、数据量很大的场景。训练步数一长小问题会被放大AdamW在权重衰减上的稳定性优势会越来越明显。第三类是微调大型预训练模型。微调时模型已经在特征空间里处于一个较好的位置这时候正则项的力度如果忽大忽小很容易把模型推出有效区域AdamW的确定性衰减明显更保险。如果你的任务是一个比较小的视觉分类任务可以先用AdamW跑一版再和SGD加动量跑一版对比。不要因为“大家都说AdamW好”就草率放弃SGD泛化能力这件事在中小任务上仍然有不少玄学成分。3.2 关键超参数怎么调lr、wd、betas、eps切到AdamW之后不是把优化器名字换掉就完事了下面几个超参数值得重新过一遍。学习率lr如果你原来用Adam时的学习率是1e-4改用AdamW可以先从5e-5起步。由于AdamW的正则行为更“可控”参数更新空间通常更平稳学习率稍微放小反而更容易配合后续的schedule。当然如果是在大模型微调场景常见起点可以继续参考同任务类型的发布配置。权重衰减wd这是从Adam平迁到AdamW时最需要重新审视的值。在Adam加L2正则模式下你设的wd很大一部是被二阶动量“吃掉”的名义值看着合理实际衰减很弱。切到AdamW后同一个wd的实际作用会显著增强。我的经验是如果原来习惯用0.01可以先从0.001到0.005这个区间试探如果任务属于参数规模特别大的模型再保留0.01也不迟但一定要配合早停观察验证集表现。动量系数betas默认的(0.9, 0.999)在大多数情况下都不用动。但在某些分布式大batch训练场景有人会把beta2调大比如设成0.98或0.999保持不变因为batch更大意味着梯度估计更稳定二阶动量可以稍微慢一点更新。这个不是AdamW特有的问题只是顺便提一句。分母防零项epsAdam系优化器里eps同时影响数值稳定和有效学习率常见默认值是1e-8。如果训练时遇到个别参数梯度方差特别小导致更新过大的情况可以试着把eps调成1e-6效果会比较直观。但注意改eps会影响所有维度的归一化行为幅度不宜太大。另外还要提一个很多人忽略的点权重衰减一般不作用于偏置项和标准化层的权重。这些参数本身数量少、更新模式简单施加权重衰减容易引发微调时的偏移问题。实际操作中常见的做法是对bias、LayerNorm或BN层的gamma、beta单独设置weight_decay0其余参数正常衰减。3.3 从Adam迁移到AdamW三步走第一替换优化器并保持其余设置不动。把原来Adam的定义改成AdamW先用原学习率、原wd跑一个短实验只看训练集Loss能否照常下降。这一步是为了确认代码层面没有低级错误。第二重新扫描权重衰减系数。固定学习率把wd按一个数量级往下试比如原来0.01就试0.005、0.001对比验证集指标。很多时候你只需要把wd调小一点验证集就能看到明显改善。第三配合Warmup和Schedule。AdamW在Transformer类模型上的最佳实践基本是前几步用一个线性Warmup把学习率从零拉到目标值再用余弦或线性衰减降到接近零。这两个组件缺一个AdamW的优势都会被浪费掉。下面这段配置是我自己微调模型时经常用的模板from torch import nn # 伪代码示例请根据你所使用的框架做对应替换 decay_params [] no_decay_params [] for name, param in model.named_parameters(): if not param.requires_grad: continue if bias in name or norm in name.lower(): no_decay_params.append(param) else: decay_params.append(param) optimizer create_adamw( [ {params: decay_params, weight_decay: 0.01}, {params: no_decay_params, weight_decay: 0.0}, ], lr5e-5, betas(0.9, 0.999), eps1e-8, )有一点需要特别提醒如果文档里要求显式开启偏置修正选项记得确认它是True。有些封装好的训练库会在内部做处理有些则不会这个开关对早期训练稳定性影响很大。4. 常见问题与踩坑记录4.1 换了AdamW之后验证集效果反而更差这是最高频的问题。最常见的解释是你从Adam迁移时保留了原来的weight_decay而这个系数在AdamW的语义下“力度变大了”导致模型被过度约束欠拟合了。解决办法很简单把wd往小调。比如原来设的是0.01改成0.001试试如果效果还行但有点过拟合再回0.005。权重衰减系数本质上是在欠拟合和过拟合之间找平衡AdamW让你更清楚地看到这个杠杆的作用但也意味着你要更果断地重新拨动它。4.2 训练初期Loss异常高或震荡剧烈如果训练刚开始Loss就异常波动大概率是偏置修正没有生效或者学习率设定过高。检查的顺序是先确认优化器是否在内部自动做了偏置修正如果没有手动开启。然后再看Warmup大量Transformer实践都表明没有Warmup的AdamW训练前面几个step的Loss很容易冲高后续恢复也要额外多花很多轮。4.3 不同代码库对wd的解释不一致这一点几乎所有从一份训练脚本移植到另一份脚本的人都会撞上。同样是weight_decay0.01在A库对应的是解耦权重衰减在B库可能还走的是老式L2正则混入梯度的逻辑。移植代码时不要只看优化器名称最好看一眼源码里weight_decay到底加在了哪里是在梯度计算阶段与true_grad相加还是在param更新阶段直接作为倍率相乘。两种模式的差别可以汇总成一张表典型行为Adam加L2正则AdamW解耦衰减wd是否进入动量计算是否wd是否参与二阶动量统计是否wd实际衰减率是否被梯度方差影响是否同样的wd0.01实际强度弱强凡是文档里让你“往loss里加一个L2 penalty”的配方基本属于左边旧模式凡是让你“在优化器里设置weight_decay并说明是decoupled”的配方基本是右边新模式。4.4 梯度裁剪和权重衰减的执行顺序别搞反很多人训练过程中会加一个梯度裁剪比如按总范数裁剪到1.0。注意梯度裁剪只影响梯度不影响AdamW的权重衰减步骤。典型流程应该是反传得到梯度后先做梯度裁剪再调用optimizer.step()优化器内部先做权重衰减再做动量更新。这个顺序是安全的裁剪会影响m和v的更新幅度但对权重衰减本身的倍率没有干扰。但我确实见过有同学把“梯度裁剪”误写成手动修改参数的逻辑同时还开着AdamW的权重衰减最后两个操作互相打架参数被反复拉回原点Loss怎么也降不下去。这类问题通常很难查因为代码表面上完全正常排查时建议先临时关闭权重衰减只留梯度裁剪看训练是否恢复正常再逐个加回。4.5 分布式训练和权重衰减的状态保持如果是多卡分布式训练AdamW的权重衰减是确定性操作每个rank上对参数的收缩行为完全一致不会产生同步问题。但要注意的是优化器状态字典的保存和恢复。训练中断后恢复时如果重新创建了优化器而忘记设置weight_decay或者恢复的state与超参数不匹配后续训练曲线可能会出现断崖式变化。最稳妥的做法是把优化器超参数也一起序列化保存恢复时再重新填入。个人操作经验小结我自己做模型微调时养成了一个习惯只要用了Transformer结构优化器几乎不用想直接上AdamW。但我也踩过一次典型的坑那是在一个小规模图像分类任务上我直接把别人共享的大模型训练配置抄了过来lr1e-4、wd0.01结果验证集指标一路下滑连训练集都收敛得比之前慢。排查之后发现一个是这个配置针对的任务规模偏大微分优化器在该任务上正则力度过猛另一个是wd根本不需要设那么大。把wd调到0.001之后模型很快就恢复了正常。那次之后我养成了新规矩凡是切换优化器必须把lr和wd都当成全新超参数重新扫绝对不做无脑平迁。还有一个小技巧是单卡小步跑通再上全套方案。用一个小规模的子集、很少的训练步数先验证优化器配置没有问题曲线能正常下降再放大到全量数据和长训练周期。看起来多了一步但实际上每次都能帮我省下大量排查时间。ADAMW只是一个很小的改动但理解了这个改动之后你对整个训练过程的掌控感会明显不一样。