手算入门人工神经网络：前向传播、反向传播与梯度下降全流程推演

人工神经网络这门课很多初学者最容易卡住的环节并不是网络结构有多复杂而是对着公式看了半天一遇到实际数据就不知道每个数字是怎么流过去的更不知道梯度下降那几个更新公式到底在干什么。我自己带过不少同学做这个方向的练习发现只要把几个有代表性的例题从头到尾手算一遍反向传播的神秘感立刻就会消失大半。这篇文章就把我在教学和实践中反复用过的几类例题整理出来包含完整的前向传播、反向传播、一轮参数更新的数字推演以及训练过程中特别容易踩的坑。无论你是在准备考试还是刚入坑深度学习想建立直觉照着纸笔推一遍收获会比单纯看十篇科普都大。1. 例题不是附赠品而是理解神经网络的入口1.1 网络中间那几层到底在算什么用一个小例子建立直觉先回到最本质的问题一个神经网络接收输入之后中间发生了什么很多人能背出“加权求和、激活函数、多层嵌套”这串话但换成具体的数字就懵了。我一般会让同学先放下复杂的图片分类、语音识别这些大场景只盯着一个最简单的例子输入层有两个节点隐藏层有两个节点输出层有一个节点。输入给一组确定的数字权重全部手动设置成已知的值然后一步步算下去。你会发现整个过程其实就是反复做两件事先算每一层的加权和再对加权和套一个激活函数。这个过程之所以重要是因为它帮你拆掉了“黑箱”的心理暗示。所谓黑箱只是因为你没有亲手把数字输送过一遍。当你亲眼看到第一层的输出是怎样由输入和权重组合出来的第二层又是怎样复用第一层的结果你就会明白神经网络本质上就是一个带参数的嵌套函数。所有后续的复杂技巧——卷积、注意力、残差连接——都是在这个基础框架上做的扩展。所以我的第一个建议是不管你以后打算用什么框架去训练模型第一步请务必找一张纸把一个三层小网络的前向传播手算一遍。算完你就知道网络本身不玄公式也不难难点在于把符号系统和数字对应起来。1.2 我的例题设计思路手算可验证、步骤透明、能复现在给同学准备练习题的时候我遵循三个原则手算可验证、步骤透明、能复现。这是很重要的一点因为很多教材里的例题要么直接给最终结果要么中间省略了大量代数步骤读者根本不知道梯度是怎么一层一层传回去的。手算可验证指的是例题的网络规模要足够小。三层网络、每层两三个节点这是最优的规模。再大一点手算就变得繁琐而且容易出错反而掩盖了方法本身。步骤透明指的是每一步都要把中间变量记录下来包括每一层的加权和、激活后的输出、误差项的数值甚至每一处偏导数的计算过程。能复现则是指初始权重和输入数据要明确给出不能是“假设某一权重”这种模糊表述因为只有别人能拿到完全相同的起点才能验证自己的计算是否正确。我选的例题通常会包含一个非常经典的设定XOR异或分类问题。原因后面会专门展开这里先提一句XOR问题是单层感知机无法解决的经典难题但一个带隐藏层的小网络就能学会它。作为教学案例它的数据只有四组可以穷举验证简直是为手算量身定制的。2. 例题一前向传播的完整手算2.1 例题设定2-2-1网络结构与初始参数为了让计算过程清晰我这里给出一个具体的小网络结构是 2-2-1也就是输入层2个节点隐藏层2个节点输出层1个节点。激活函数使用 Sigmoid也就是跑完加权和后套一个 S 形函数把所有输出压缩到0到1之间。损失函数使用均方误差。给定一组训练样本输入是 x1 0x2 1标签是 y 1。这在XOR问题里属于一组典型样本因为XOR要求两个输入不同时输出为1。初始权重和偏置我按照下面的方式设置w1_11 0.5表示从第1个输入节点到第1个隐藏节点的权重w1_12 0.4表示从第1个输入节点到第2个隐藏节点的权重w1_21 0.2表示从第2个输入节点到第1个隐藏节点的权重w1_22 -0.1表示从第2个输入节点到第2个隐藏节点的权重隐藏层两个节点的偏置分别是 b1_1 0.1b1_2 0.2。输出层的权重设为 w2_11 0.7w2_12 -0.3输出层偏置 b2_1 0.05。之所以选这组数字是因为它没有任何对称性也不是全零或全一这样的极端情况算出来的结果会落在中间区域方便观察激活函数的非线性变化。初学者容易忽略的一点是初始权重的选择本身就影响训练结果。全零初始化会导致同一层的神经元更新完全一致也就是所谓的对称性问题这个后面再展开讲。2.2 隐藏层加权和与激活输出来看隐藏层的第一个节点。它的输入来源有两个权重项和一个偏置z1_1 x1 * w1_11 x2 * w1_21 b1_1代入数字z1_1 0 * 0.5 1 * 0.2 0.1 0.3第二个隐藏节点的加权和z1_2 x1 * w1_12 x2 * w1_22 b1_2代入数字z1_2 0 * 0.4 1 * (-0.1) 0.2 0.1注意这里x1那两项因为输入是0直接归零了。这说明什么说明该输入对当前节点没有任何贡献也就是梯度在后续反向传播时也会是0。这种输入稀疏导致梯度为零的情况在真实数据里也经常发生只是多数时候没有人手动去观察而已。接着做激活a1_1 1 / (1 e^(-0.3)) ≈ 0.5744a1_2 1 / (1 e^(-0.1)) ≈ 0.5250这两组数就是隐藏层的输出也是传给输出层的输入。可以看到Sigmoid函数把负的、正的加权和都压缩到了0到1的区间并且给了一层非线性。其实到这里网络内部已经完成了一次特征变换原始的线性组合经过激活函数之后输出和输入不再是简单的直线关系。2.3 输出层计算与对应损失输出层的计算套路和隐藏层一模一样只不过输入变成了上一层的激活值z2_1 a1_1 * w2_11 a1_2 * w2_12 b2_1代入数字z2_1 0.5744 * 0.7 0.5250 * (-0.3) 0.05 0.4021 - 0.1575 0.05 0.2946输出层的激活值a_out 1 / (1 e^(-0.2946)) ≈ 0.5731这里出现了一个关键现象。我们的标签是 y 1可是网络给出的预测只有0.5731明显偏低。用均方误差来衡量误差先将损失函数写成E 0.5 * (a_out - y)^2这里乘0.5是为了后面求导方便因为平方项求导后正好抵消掉那个2属于常见的设计习惯不是拍脑袋定的。代入数字E 0.5 * (0.5731 - 1)^2 ≈ 0.5 * 0.1823 ≈ 0.0911也就是说当前权重对这个样本的预测误差是0.0911。如果照这个权重去预测其他三组XOR数据误差会更大因为网络现在的行为更像在随机乱猜。2.4 这次手算说明了什么前向传播这一遍本质上是在回答一个问题给定当前的参数网络对这个样本的输出是多少你可能觉得这不就是小学算术吗但正是这种“不高级”的感觉说明你已经看透了它的结构。更重要的是你会在这一步积累起对权重意义的直觉。比如你会看到w2_110.7这个正权重把隐藏层第一个节点的输出放大而w2_12-0.3这个负权重则把第二个节点的输出反向压低。正是这些正负组合让网络最终能形成各类复杂的决策边界。如果你在算完一次前向传播之后顺手把所有中间变量列一张表你就会发现它们对接着反向传播里需要的几乎所有数据。很多人在这一步跳过去直接学反向传播结果回传的时候到处找不到中间量就是因为没养成记录的习惯。3. 例题二反向传播中的梯度是怎么一步步算出来的3.1 先明确目标我们到底在优化什么前向传播之后网络得到的损失值是0.0911。我们当然希望这个值变小。要让损失变小需要调整的变量是所有的权重和偏置。可是问题来了一共6个权重和3个偏置怎么知道应该往哪个方向调多少这就要用到梯度了。梯度的数学含义是损失函数对各个参数的偏导数组成的向量它指示的是损失在当前参数点上升最快的方向。所以我们只要沿着梯度的反方向更新参数损失就会下降。在具体计算之前我建议先想清楚一个逻辑链条损失E只和输出层的输出a_out直接相关而a_out又由输出层的加权和z2_1决定z2_1又由隐藏层的输出a1_1、a1_2以及输出层权重决定而a1_1、a1_2又由更前一层的数据和权重决定。也就是说参数离损失越远中间经历的“传导链”就越长。反向传播就是沿着这条链从后往前用微积分里学过的链式法则把每个参数的梯度找出来。3.2 输出层的误差项计算先算输出层。我们把对输出层节点“加权和”的偏导记为δ_out这是一个误差项含义是输出节点的加权和对损失的影响程度。由链式法则δ_out ∂E/∂z2_1 ∂E/∂a_out * ∂a_out/∂z2_1分两部分看。第一部分损失对输出值的偏导∂E/∂a_out a_out - y因为 E 0.5*(a_out-y)^2求导后系数0.5和指数2抵消所以只剩 a_out-y。第二部分Sigmoid函数的导数是 a_out * (1-a_out)这是Sigmoid一个非常方便的性质。于是δ_out (a_out - y) * a_out * (1 - a_out)代入数字δ_out (0.5731 - 1) * 0.5731 * (1 - 0.5731) (-0.4269) * 0.5731 * 0.4269 ≈ -0.1044这个负号很重要它表示当前输出偏高实际输出小于标签导致a_out-y为负为了让损失下降网络需要增大输出层的加权和。误差项为负意味着后续更新时相关权重会增大。输出层权重的梯度就是误差项乘以对应输入也就是前一层传来的激活值∂E/∂w2_11 δ_out * a1_1 ≈ -0.1044 * 0.5744 ≈ -0.0600∂E/∂w2_12 δ_out * a1_2 ≈ -0.1044 * 0.5250 ≈ -0.0548∂E/∂b2_1 δ_out ≈ -0.1044这里应该注意梯度的数值包含了激活值的大小。那些激活接近0的输入就算误差项再大梯度也会趋近0这就是神经元“沉默”的现象。3.3 隐藏层误差项的回传机制现在要处理隐藏层。这里的难点是隐藏层的输出不直接连到损失函数而是通过输出层间接影响损失。所以需要把输出层的误差项按照输出层权重重新分配给隐藏层的各个节点。隐藏层第一个节点的误差项δ_h1 δ_out * w2_11 * a1_1 * (1 - a1_1)这里“δ_out * w2_11”可以理解成把输出层的误差“倒灌”回隐藏层第一个节点再乘上该节点激活函数的导数得到它自身对损失的贡献。代入数字δ_h1 (-0.1044) * 0.7 * 0.5744 * (1 - 0.5744)中间那块 0.5744 * 0.4256 ≈ 0.2445所以δ_h1 ≈ -0.1044 * 0.7 * 0.2445 ≈ -0.0179第二个隐藏节点的误差项δ_h2 δ_out * w2_12 * a1_2 * (1 - a1_2)代入δ_h2 (-0.1044) * (-0.3) * 0.5250 * 0.4750注意这里w2_12是负的负负得正所以δ_h2 ≈ 0.0078出现了正负两个方向的误差项这在隐藏层中很常见。它说明输出层对第一个隐藏节点更“依赖”因为权重0.7是正的且数值更大而第二个节点因为负权重的存在方向被反转了。有了隐藏层的误差项隐藏层权重的梯度就呼之欲出∂E/∂w1_11 δ_h1 * x1 -0.0179 * 0 0∂E/∂w1_12 δ_h2 * x1 0.0078 * 0 0∂E/∂w1_21 δ_h1 * x2 -0.0179 * 1 -0.0179∂E/∂w1_22 δ_h2 * x2 0.0078 * 1 0.0078∂E/∂b1_1 δ_h1 ≈ -0.0179∂E/∂b1_2 δ_h2 ≈ 0.0078细心的同学会发现凡是和x1相关的梯度全部是0因为这次输入的x1就是0。这就直接印证了前向传播那句观察一个为0的输入在本轮迭代里不会引发任何梯度也就不会对本轮参数更新产生任何影响。3.4 手动推导一次胜过调十次库算完整套梯度你会对反向传播产生一个非常重要的认识它并不是什么独立的、神秘的学习算法它只是在用链式法则求复合函数的导数。前向传播时按层从前往后算反向传播时按同样路径从后往前算每一步都在“复用”前向传播已经算好的激活值和中间变量。我为什么建议你一定要亲手推一次因为只在框架里调用backward()你看到的只有损失值在下降却看不见权重具体发生了什么变化。而一旦你手动推过一遍你会理解为什么很多框架里的调试技巧都聚焦在梯度上也会明白为什么当训练出问题时第一步要去检查梯度是否数值异常而不是盲目调大学习率。我以前带过一位A同学他在框架里训练了好几个模型损失一直不降。我让他写一个两层小网络手动把梯度打出来他立刻发现隐藏层的梯度输出全是0。原因是他误给隐藏层激活函数加了一个条件导致反向传播的导数通路断裂。这种问题如果只看最终损失很难定位但顺着梯度图一眼就能看清。4. 例题三一轮完整训练XOR问题的逐步推演4.1 为什么XOR是经典教学案例XOR异或问题的数据只有四组(0,0)→0(0,1)→1(1,0)→1(1,1)→0。它名声在外的原因是单层感知机无法解决这个非线性分类问题而带一个隐藏层的网络却可以。因此拿XOR当例题可以直观展示“引入隐藏层到底带来了什么”。而且因为样本只有四组训练结束后你可以把四组样本全部手算一遍交叉验证网络的行为这在更大的数据集上是做不到的。大多数人第一次看到隐藏层的价值就是在手推XOR一轮训练的过程中建立的。这一节我就延续前面的网络结构但会做完一轮完整的训练针对样本(x10, x21, y1)完成一次前向传播、一次反向传播、一次梯度下降更新然后用更新后的参数再次预测观察损失是否下降。4.2 记录前向传播的所有中间变量前面已经计算过这里把中间变量集中记录下来方便后续对照z1_1 0.3a1_1 ≈ 0.5744z1_2 0.1a1_2 ≈ 0.5250z2_1 ≈ 0.2946a_out ≈ 0.5731损失 E ≈ 0.0911很多人会忽略记录中间变量这个环节但在手推一轮训练时这几乎是最重要的一步。因为反向传播需要频繁使用这些数值如果每个都重新算一遍不仅费时间还容易因为四舍五入引入误差。4.3 汇总所有参数的梯度值把上一节算出的梯度汇总成这样一张表参数初始值梯度w1_110.50w1_120.40w1_210.2-0.0179w1_22-0.10.0078b1_10.1-0.0179b1_20.20.0078w2_110.7-0.0600w2_12-0.3-0.0548b2_10.05-0.1044这张梯度表对你来说是参数调整的“导航仪”。梯度为负的项需要向正方向调整梯度为正的项需要向负方向调整。梯度绝对值大的项说明该参数对损失的影响较大调整幅度也应该更大。4.4 梯度下降更新学习率的实际影响选择学习率 η 0.5更新公式统一为w_new w_old - η * ∂E/∂w第一条权重先来w1_11_new 0.5 - 0.5 * 0 0.5w1_12_new 0.4 - 0.5 * 0 0.4再算和x2相关的权重w1_21_new 0.2 - 0.5 * (-0.0179) 0.2 0.00895 ≈ 0.2090w1_22_new -0.1 - 0.5 * 0.0078 -0.1 - 0.0039 ≈ -0.1039偏置b1_1_new 0.1 - 0.5 * (-0.0179) 0.1 0.00895 ≈ 0.1090b1_2_new 0.2 - 0.5 * 0.0078 0.2 - 0.0039 ≈ 0.1961输出层权重和偏置w2_11_new 0.7 - 0.5 * (-0.0600) 0.7 0.0300 ≈ 0.7300w2_12_new -0.3 - 0.5 * (-0.0548) -0.3 0.0274 ≈ -0.2726b2_1_new 0.05 - 0.5 * (-0.1044) 0.05 0.0522 ≈ 0.1022这里的重点是观察方向而不是死记公式。由于输出层的误差项是负数所有输出层参数都往增大的方向走这符合直觉网络预测偏低应该把输出抬高。而隐藏层权重有增有减正是因为输出层两个隐藏节点对应着正负两种权重它们对最终输出的贡献方向不同。学习率的作用在这里也看得非常直观。η越大每次更新的步长越大参数变化越剧烈η越小变化越温和。用手算一轮你能立刻体会到为什么学习率调得不好训练曲线会剧烈震荡或者原地踏步。4.5 更新后重新预测验证误差变化参数更新完后不能只停在“参数变了”这个层面一定要重新算一次前向传播验证损失确实下降了。用新参数重新计算z1_1 0 * 0.5 1 * 0.2090 0.1090 0.3180a1_1 1 / (1 e^(-0.3180)) ≈ 0.5789z1_2 0 * 0.4 1 * (-0.1039) 0.1961 0.0922a1_2 1 / (1 e^(-0.0922)) ≈ 0.5230输出层z2_1 0.5789 * 0.7300 0.5230 * (-0.2726) 0.1022 0.4226 - 0.1426 0.1022 ≈ 0.3822a_out 1 / (1 e^(-0.3822)) ≈ 0.5944新的损失E_new 0.5 * (0.5944 - 1)^2 ≈ 0.5 * 0.1645 ≈ 0.0822对比之前的0.0911损失确实下降了尽管幅度不大。这说明梯度下降的第一轮迭代方向正确。接下来如果继续迭代几百轮这个网络就能慢慢学会XOR规则。这种“看到损失一步步下降”的过程比任何抽象解释都能让你建立信心。5. 例题四训练过程中的常见困境与排查技巧5.1 学习率过大过小的典型症状学习率是初学者最容易调错却最难察觉的参数。手算一轮你看不出它的长期影响但如果模拟一下多轮迭代问题就会浮现。学习率过大时典型症状是训练损失上下剧烈跳变甚至不断增加。原因是更新步长太大参数直接跨过了最优点落到了损失更大的区域下一步又反弹回来。我以前遇到过一个同学把学习率设到接近2结果训练曲线呈现出锯齿状他一度以为是自己数据集的问题实际只是步长过大。学习率过小时症状则是损失下降极其缓慢曲线看起来像一条水平线。你可能觉得“反正方向是对的”但训练几千轮都没明显进展这在实际工程中同样致命。常规建议是从0.1或0.01起步训练过程中观察损失曲线的斜率如果太慢再放大如果震荡再缩小。5.2 权重初始化对收敛的影响很多教材上直接说“随机初始化”却很少告诉你随机初始化的尺度本身是个关键超参数。以Sigmoid为例如果权重初始值过大加权和的绝对值就会很大。Sigmoid函数在远离0的地方导数几乎为0梯度被压得极小训练就会停滞这就是“梯度消失”的早期症状。如果权重初始值为0那么同一层的所有神经元计算过程完全一样反向传播梯度也完全一样无论训练多久这些神经元都无法分化相当于浪费了网络容量。推荐的做法是使用小范围随机初始化比如均匀分布在[-0.1, 0.1]之间或者使用后续更系统的初始化方法。关键是初始化应该保证每一层的加权和落在激活函数变化最剧烈的中间区域让梯度有足够的幅度往正确方向更新。5.3 梯度消失与梯度爆炸的判别方法深一点网络里梯度消失和梯度爆炸是最让人头疼的两个问题。它们其实都源于反向传播链式法则的连续相乘。以Sigmoid为例其导数最大也只有0.25。如果网络很深每一层回传时都会把梯度压缩一个倍数几十层下来梯度指数级衰减到几乎为0前面的层根本学不动这就是梯度消失。梯度爆炸则是另一种情况当权重初始值偏大且激活函数导数大于1时梯度在层层回传中指数放大最终出现NaN之类的大数。判别方法很简单训练时把每一层梯度的均值或范数打印出来。如果浅层梯度的数值远小于深层说明出现了梯度消失如果浅层梯度异常巨大说明梯度爆炸。修复思路也直接消失就用ReLU这类在正区间导数恒为1的激活函数配合合理的初始化爆炸则使用梯度裁剪或降低学习率。5.4 数值梯度检查验证反向传播有没有写错这是我特别建议每个学习者掌握的方法因为它在手算和代码调试中都非常实用。数值梯度检查的思路异常朴素用导数的定义去近似偏导数。要验证反向传播算出来的某个权重梯度是否正确只需要把该权重加上一个极小值算一次损失再减去一个极小值算一次损失两者之差除以两倍的极小值就得到一个近似的梯度。如果这个近似梯度和反向传播算出来的梯度一致那就说明反向传播的公式推导或代码实现没错。比如验证w2_11时设epsilon0.0001计算E(wepsilon)和E(w-epsilon)两者差除以2*epsilon会得到一个接近-0.0600的数值和前面表格里的梯度对得上。这个方法看起来笨但却是工程上用来检验梯度实现的金标准。我自己每当手写反向传播代码时第一件事就是跑数值梯度检查因为写错索引、写错符号这类低级错误靠眼睛几乎很难发现。6. 从例题走向实战的小建议6.1 手推之后再写代码差别在哪里我观察到一个规律凡是愿意花时间手推过一轮完整反向传播的同学之后写网络训练代码时调试能力明显强于直接调库的同学。差别不在于是否记住了公式而在于他们心里有一张“数据流向图”。看到某个变量报错或者形状不对时可以很快定位是哪一层出了问题。如果你打算自己写一个小网络练手我的建议是先把前面例题里的所有中间变量打印出来和手算结果逐一对照。框架通常有自动求导功能你可以调出每个参数的梯度看看和手算的梯度表是否一致。一致说明你的理解到位了不一致别急把每一层的激活值和损失值拉出来一步一步对。6.2 用一张模型卡记录每次实验实际训练中调参是个非常容易迷失的过程。我自己的习惯是每次实验都建一张模型卡记录数据规模、网络结构、学习率、初始化范围、损失曲线、梯度范数、最终精度以及这个参数组合踩到什么坑。别小看这个习惯它能让你的实验从“玄学”变成“科学”。比如你会慢慢发现同样的网络结构换一组初始化范围可能就差了好几个点某个看似无关紧要的偏置项却能改变整个训练走势。有了记录你才能在事后复盘时找到规律。这一步看似和学习神经网络“理论”无关却是成为可靠从业者的关键。6.3 几个值得记住的个人经验最后分享几个我一路走来的实用经验。第一当训练不收敛时先检查梯度不要反复调学习率。很多人一看到损失不降第一反应是调大学习率结果越调越糟。先打印梯度如果梯度异常小或巨大就知道问题出在哪一层了。第二激活函数的导数一定要和激活函数本身配套记忆。Sigmoid的导数是σ(1-σ)ReLU的导数在正区间是1这些细节一旦记错梯度方向就可能完全错误。第三不要害怕用最笨的调试方法。很多人遇到梯度问题总想着用高级工具去自动诊断其实最朴素的做法——打印中间量、算一次数值梯度——往往最快定位。做技术这件事很多时候返璞归真反而最高效。如果你现在正卡在某个例题上我的建议很简单拿一张草稿纸把网络画出来把每一个权重标注上去然后用一套具体的数据从头走到尾。走完一遍你会回来感谢自己这一小时的花费。后面等这套小规模的理解稳固了再去看大规模的网络、卷积、注意力会发现所有的复杂模块都只是在这个基础骨架上长出来的枝叶。