交叉方向研0机器学习学习笔记Day3(水平拉跨，各位勿喷)

正则化正则化是一种通过在原损失函数上增加对参数大小的惩罚项来限制模型复杂度从而防止过拟合、提升泛化能力的技术。在此之前先介绍一下什么叫过拟合。过拟合过拟合是指机器学习模型在训练数据上表现得过于优秀以至于把数据中的随机噪声和个例也成功拟合导致它在未见过的数据上表现糟糕举个栗子假设有如下样本点采用高次的回归曲线去拟合正常应该是这样的观察上图可知曲线基本是学习到了样本点的分布特征但是如果过拟合就会是这样显然曲线把原先样本的噪声也学习进去了此时如果新增加新的样本的话会导致模型泛化性极差。在数学上可以这样理解显然n1时曲线为一条直线类似于泰勒展开随着次数增高曲线对样本的拟合能力越强如果参数过多就会把噪声也拟合进去进而造成过拟合。为缓解过拟合引入了正则化这一技术。正则化对于上式假设我们令后面几项的参数0,就可以减小精度从而减小对噪声的拟合正则化就是这一原理只不过正则化一般是对所有参数进行正则化。以一元线性回归均方误差损失函数为例若正则化此时有其中为一正侧化系数一般为一较大值在模型训练中都是通过梯度下降进行训练使损失函数最小观察上式显然若想损失函数最小必须要惩罚上式第二项的模型参数通过训练即可将模型中对拟合共享较小的特征进行惩罚从而避免过拟合。