SGD梯度更新实战解析

根据黑板上的第二问要求我们需要使用SGD随机梯度下降来求解。1. 题目条件提取从图片中可以看到具体的设定初始参数$w_0 0$, $b_0 0$学习率$\alpha 0.1$ 图中写作 $\eta0.1$ 或 $\alpha0.1$目标计算第一次更新后的 $w$ 和 $b$。数据$x(1, 2, 3)$, $y(2, 4, 6)$样本数 $m3$。损失函数$J(w,b) \frac{1}{2m} \sum (y_i - \hat{y}_i)^2$2. 梯度公式推导基于给定的损失函数对 $w$ 和 $b$ 求偏导得到梯度注意系数 $\frac{1}{2m}$ 求导后变为 $\frac{1}{m}$且链式法则产生负号预测值$\hat{y}_i w x_i b$误差项$(\hat{y}_i - y_i)$梯度计算公式$$\frac{\partial J}{\partial w} \frac{1}{m} \sum_{i1}^{m} (\hat{y}_i - y_i) x_i$$$$\frac{\partial J}{\partial b} \frac{1}{m} \sum_{i1}^{m} (\hat{y}_i - y_i)$$(注黑板右侧的板书也印证了这一点虽然字迹较潦草但结构符合 $\frac{1}{m}\sum(\dots)$ 的形式)3. 具体计算步骤第一步计算初始状态下的预测值与误差由于初始 $w_00, b_00$对于所有样本 $i$预测值 $\hat{y}_i 0 \cdot x_i 0 0$真实值 $y (2, 4, 6)$误差 $(\hat{y}_i - y_i) (0-2, 0-4, 0-6) (-2, -4, -6)$第二步计算梯度计算 $w$ 的梯度 $\frac{\partial J}{\partial w}$$$\begin{aligned}\frac{\partial J}{\partial w} \frac{1}{3} [ (-2)\times 1 (-4)\times 2 (-6)\times 3 ] \ \frac{1}{3} [ -2 - 8 - 18 ] \ \frac{-28}{3} \approx -9.33\end{aligned}$$计算 $b$ 的梯度 $\frac{\partial J}{\partial b}$$$\begin{aligned}\frac{\partial J}{\partial b} \frac{1}{3} [ (-2) (-4) (-6) ] \ \frac{-12}{3} \ -4\end{aligned}$$第三步执行参数更新更新公式为$\theta_{new} \theta_{old} - \alpha \cdot \text{gradient}$更新 $w$$$\begin{aligned}w_1 w_0 - 0.1 \times \left( -\frac{28}{3} \right) \ 0 \frac{2.8}{3} \ \frac{28}{30} \frac{14}{15} \approx \mathbf{0.933}\end{aligned}$$更新 $b$$$\begin{aligned}b_1 b_0 - 0.1 \times (-4) \ 0 0.4 \ \mathbf{0.4}\end{aligned}$$4. 最终结论经过 SGD第一次迭代更新后参数结果为$w \approx 0.933$(精确值为 $14/15$)$b 0.4$此时的回归方程约为$y 0.933x 0.4$