CS231n 2023 Assignment 2 实践指南：多层全连接网络、Batch Normalization、Dropout、CNN 与 PyTorch 实战

教程文档深度学习计算机视觉【免费下载链接】cs231n.github.ioPublic facing notes page项目地址https://gitcode.com/gh_mirrors/cs/cs231n.github.io点击查看免费下载CS231nStanford 课程 CS231n: Deep Learning for Computer Vision2023 年春季学期的第二次作业Assignment 2是一份覆盖现代深度学习核心技能的实战任务集从零手写任意深度的全连接网络与向量化反向传播实现 Batch Normalization、Dropout 与多种更新规则再延伸到卷积神经网络各层的实现最终使用 PyTorch 在 CIFAR-10 上训练并调优自己的卷积网络。本文基于 assignments/2023/assignment2.md 的完整任务说明并结合仓库内配套的课程讲义neural-networks-2.md、neural-networks-3.md、convolutional-networks.md、optimization-1.md进行深度扩展帮助读者理解每道题背后的原理、实现要点与提交流程。任务概览与整体目标Assignment 2 共包含五个问题全部以 Colab Notebook 形式提供启动代码Starter code可从课程主页的hw_2_colab配置项指向的压缩包下载对应仓库 _config.yml 中hw_2_colab字段即assignments/2026/assignment2.zip形式的打包文件2023 届版本位于 assignments/2023/ 目录。本次作业的训练任务如下Q1 多层全连接神经网络FullyConnectedNets.ipynb实现任意深度的全连接网络并实现多种常用的参数更新规则Q2 Batch NormalizationBatchNormalization.ipynb实现批量归一化并用来训练深层全连接网络Q3 DropoutDropout.ipynb实现 Dropout 并探究它对模型泛化能力的影响Q4 卷积神经网络ConvolutionalNetworks.ipynb实现卷积网络中的若干常用新层Q5 PyTorch 与 CIFAR-10PyTorch.ipynb熟悉 PyTorch 框架的工作方式并自行设计卷积网络在 CIFAR-10 上尽可能取得最好的性能。课程在本次作业中设定的核心学习目标包括理解神经网络及其分层架构的排列方式理解并能实现向量化的反向传播实现多种用于优化神经网络的更新规则实现Batch Normalization与Layer Normalization用于训练深度网络实现Dropout来正则化网络理解卷积神经网络的架构并练习训练它们获得主流深度学习框架PyTorch的实战经验。环境准备Setup作业文档要求在开始前先熟悉课程的推荐工作流程其中“在 Google Colaboratory 上远程工作”一节并观看 Colab 操作讲解视频。核心要点如下以 Colab 为主课程官方推荐通过 Google Colaboratory 完成作业。Colab 基于云端的 Jupyter Notebook 与 Google Drive 结合自带 PyTorch、TensorFlow 等常用依赖并且免费提供 GPUK80、P100与 TPU 硬件加速器这对 Assignment 2、Assignment 3 尤其重要。使用 GPU在 Colab 中通过Runtime - Change runtime type - Hardware Accelerator - GPU即可让实例自动获得 GPU 算力。经常保存Colab 免费资源的连接并非长期保障——空闲超时或总连接时长超过约 12 小时VM 会断开未保存的进度会丢失。请养成频繁保存的习惯File - Save并在作业过程中定期保存 notebook。本地开发非官方支持虽然不正式支持本地开发但启动代码中包含requirements.txt文件可用于搭建虚拟环境。课程环境配置文档 setup.md 提供了两种方式推荐使用 Anaconda 创建环境conda create -n cs231n python3.7 conda activate cs231n或使用 Python 原生venvpython3.7 -m venv ~/cs231n source ~/cs231n/bin/activate激活环境后进入作业目录并安装依赖cd assignment1 # 进入作业目录 pip install -r requirements.txt注意文档强调作业面向 Python 3课程环境说明为 Python 3.7已不再支持 Python 2作业设计时要求确保提交的 notebooks 已经运行过且单元格输出可见。Q1多层全连接神经网络FullyConnectedNets.ipynb本部分要求你实现任意深度的全连接网络Fully Connected Networks。所谓“任意深度”即通过一个通用的模块化实现把若干全连接层Affine/FC层与激活函数如 ReLU堆叠起来而不是针对某一个固定层数的网络写死代码。为优化这些模型你还需要实现几种流行的更新规则Update Rules。全连接层与反向传播的模块化实现课程的讲义 neural-networks-2.md 介绍了神经网络的基本构建方式每个神经元计算输入的点积并随后经过非线性激活函数神经网络按层组织每一层是对前一层输出的线性映射与非线性的交替组合。在作业里每个层通常要实现一对函数前向传播Forward Pass给定输入x与参数权重W、偏置b计算输出反向传播Backward Pass给定输出的梯度dout分别计算对输入x、权重W与偏置b的梯度。基于 optimization-1.md 的“信息流”总结整个训练过程是一个循环前向计算得分向量f损失函数数据损失 正则化损失评估当前参数质量反向传播用链式法则高效求出梯度然后执行参数更新。讲义反复强调的核心技能是能够用链式法则即反向传播解析地计算损失函数对权重的梯度这正是在本 Notebook 中要动手实现的东西。更新规则从 Vanilla SGD 到 Adam更新规则Update Rules决定梯度如何被用来改变参数。讲义 neural-networks-3.md 的 Parameter updates 一节系统介绍了多种方案这也是 Q1 实现的核心内容Vanilla SGD朴素更新是最简单的形式沿负梯度方向更新参数# Vanilla update x - learning_rate * dx其中learning_rate是超参数固定常数。当在完整数据集上评估且学习率足够低时可以保证损失函数不增。Momentum动量更新几乎总能带来更好的收敛速度。从物理视角看把损失函数想象成起伏地形的“高度”势能参数向量像粒子一样滚动。梯度直接影响的不是位置而是“速度”速度再影响位置# Momentum update v mu * v - learning_rate * dx # 积分速度 x v # 积分位置参数向量会在梯度方向一致的方向上不断积累速度。mu动量系数的典型取值在 0.9 左右。Nesterov MomentumNesterov 动量是动量更新的改进版对凸函数有更强的理论收敛保证实践中通常也比标准动量略好。讲义推荐进一步阅读来理解其方程来源即 Nesterovs Accelerated MomentumNAG。Adagrad / RMSProp属于“逐参数自适应学习率”方法。RMSProp 用平方梯度的滑动平均作为cache从而调节每个权重的学习率# RMSProp update cache decay_rate * cache (1 - decay_rate) * dx**2 x - learning_rate * dx / (np.sqrt(cache) eps)其中decay_rate是超参数典型值在[0.9, 0.99, 0.999]eps用于防止除零。与 Adagrad 相比RMSProp 的更新不会单调变小。Adam看起来像“带动量的 RMSProp”用梯度的一阶矩平滑版本m替代原始可能含噪声的梯度dx# Adam update m beta1 * m (1 - beta1) * dx v beta2 * v (1 - beta2) * dx**2 x - learning_rate * m / (np.sqrt(v) eps)论文推荐eps 1e-8、beta1 0.9、beta2 0.999。完整版 Adam 还包含**偏差修正bias correction**机制用于补偿最开始几步中m, v从零初始化带来的偏差。讲义给出的实践建议是Adam 目前被推荐为默认算法通常略优于 RMSProp同时 SGD Nesterov Momentum 也是值得一试的替代方案。训练深层网络的注意事项课程讲义为“训练深度网络”提供了与 Q1 直接相关的设计经验这些内容也会体现在 notebook 的问答与调参环节中数据预处理neural-networks-2.md最常用的是均值消减X - np.mean(X, axis0)然后是归一化X / np.std(X, axis0)对图像而言像素相对尺度大致一致额外归一化并非必需。注意所有预处理统计量如均值只能在训练集上计算再应用到验证/测试集绝不能在全数据集上计算后再划分。权重初始化全零初始化是错误做法所有神经元输出相同、梯度相同、更新相同没有不对称性来源常用小随机数打破对称性如W 0.01 * np.random.randn(D, H)为校准方差推荐w np.random.randn(n) / sqrt(n)对 ReLU 网络推荐 He 初始化w np.random.randn(n) * sqrt(2.0/n)。Batch Normalization通过显式把网络各层激活强迫为训练初期的单位高斯分布缓解了初始化不当带来的许多头疼问题实践中显著提升网络对糟糕初始化的鲁棒性。损失与优化关系optimization-1.md 强调学习率步长的选取是训练中最重要也最令人头疼的超参数之一——太小则进度稳定但缓慢太大则可能“越界”导致损失反而升高。Q2Batch NormalizationBatchNormalization.ipynb在BatchNormalization.ipynb中你将实现Batch Normalization批归一化并用它训练深层全连接网络。原理与位置讲义 neural-networks-2.md 指出Batch Normalization 是 Ioffe 和 Szegedy 提出的技术通过在训练开始时显式地强迫网络各层激活呈现单位高斯分布缓解了正确初始化网络的大量麻烦。核心观察是归一化是一个简单的可微操作因此可以无缝地插入网络并参与反向传播。实践中通常把 BatchNorm 层紧跟在全连接层或卷积层之后、非线性激活之前。BatchNorm 的另一个理解角度是它相当于在网络每一层都做了一次预处理但这种预处理以可微的方式集成进网络本身。因此使用 BatchNorm 的网络对糟糕的初始化显著更鲁棒。实现要点在 notebook 中你需要实现训练时的前向传播对一个小批量x计算每个维度的均值与方差进行归一化再应用可学习的缩放参数gamma与平移参数beta得到y gamma * x_hat beta其中x_hat (x - mean) / sqrt(var eps)。训练时的反向传播把归一化视为可微操作链式求导得到对x、gamma、beta的梯度。作业通常还会引导你用“计算图/展开式”的方式推导出梯度表达式。测试时的前向传播测试时没有小批量可供统计因此需要维护运行均值与运行方差running mean / running variance通常以指数滑动平均在训练中更新并在测试阶段用运行统计量代替当前批次的统计量。Layer Normalization层归一化2023 版课程目标中明确包含 Layer Normalization。与 BatchNorm 沿批量维归一化不同Layer Norm 沿特征维归一化因此不受批量大小影响对每个样本独立计算均值与方差。课程讲义也指出 BatchNorm 在实践中已成为非常普遍的做法常与其他技巧如 L2 正则、Dropout组合使用。Q3DropoutDropout.ipynbDropout.ipynb帮助你实现 Dropout并探究它对模型泛化能力的影响。原理训练时随机丢弃测试时集成讲义 neural-networks-2.md 的 Regularization 一节对 Dropout 有详细描述Dropout 由 Srivastava et al. 提出是一种极其有效且简单的正则化技术与 L1、L2、Maxnorm 等方法互补。训练时以概率p超参数保持神经元激活否则将其置零 Vanilla Dropout: 不推荐的实现见下方说明 p 0.5 # 保持单元激活的概率越大 丢弃越少 def train_step(X): X 包含数据 # 以 3 层网络为例的前向传播 H1 np.maximum(0, np.dot(W1, X) b1) U1 np.random.rand(*H1.shape) p # 第一个 dropout 掩码 H1 * U1 # 丢弃 H2 np.maximum(0, np.dot(W2, H1) b2) U2 np.random.rand(*H2.shape) p # 第二个 dropout 掩码 H2 * U2 # 丢弃 out np.dot(W3, H2) b3 # 反向传播计算梯度...未展示 # 参数更新...未展示 def predict(X): # 集成式前向传播 H1 np.maximum(0, np.dot(W1, X) b1) * p # 注意缩放激活 H2 np.maximum(0, np.dot(W2, H1) b2) * p out np.dot(W3, H2) b3训练时Dropout 可以理解为在完整神经网络内部采样一个子网络只根据输入数据更新被采样网络的参数。测试时不应用 dropout其解释是对指数规模的子网络集合做平均预测集成。为什么测试时要乘 p预期输出匹配关键点在于测试时所有神经元都看到全部输入因此我们希望测试时神经元的输出与训练时期望意义上一致。考虑某个神经元输出x由于丢弃期望输出变为px (1-p)·0 px。因此 vanilla 实现必须在测试时把激活缩放为px。推荐实现Inverted Dropout反向/倒置 Dropoutvanilla 方案有一个缺点必须在测试时缩放激活。由于测试时性能至关重要更推荐inverted dropout——把缩放放在训练阶段测试阶段的前向传播保持原样。这还有个好处当你决定调整 dropout 的位置或是否使用 dropout 时预测代码可以完全不动 Inverted Dropout推荐的实现示例。 训练时进行丢弃与缩放测试时不做任何事。 p 0.5 # 保持单元激活的概率越大 丢弃越少 def train_step(X): # 以 3 层网络为例的前向传播 H1 np.maximum(0, np.dot(W1, X) b1) U1 (np.random.rand(*H1.shape) p) / p # 注意除以 p H1 * U1 H2 np.maximum(0, np.dot(W2, H1) b2) U2 (np.random.rand(*H2.shape) p) / p # 注意除以 p H2 * U2 out np.dot(W3, H2) b3 # 反向传播计算梯度...未展示 # 参数更新...未展示 def predict(X): # 集成式前向传播 H1 np.maximum(0, np.dot(W1, X) b1) # 无需缩放 H2 np.maximum(0, np.dot(W2, H1) b2) out np.dot(W3, H2) b3讲义还给出实践建议最常用的做法是使用一个全局的、经交叉验证的 L2 正则强度并通常与“在每层之后应用 dropout”组合p 0.5是合理的默认值但可在验证集上调整。Dropout 属于“前向传播中引入随机性”这一类更广泛的方法例如 DropConnect 是随机置零权重卷积网络中的随机池化、分数池化、数据增强也遵循这一主题。Q4卷积神经网络ConvolutionalNetworks.ipynb在ConvolutionalNetworks.ipynb中你将实现卷积网络中常用的若干新层。课程讲义 convolutional-networks.md 对卷积网络的核心概念给出了完整说明以下要点几乎都会在 notebook 中落地为代码。为什么需要卷积从全连接到 3D 体积普通神经网络难以扩展到图像一张 CIFAR-10 图片是 32x32x3单个全连接神经元就要 3072 个权重而 200x200x3 的图片则会让单个神经元拥有 120,000 个权重。全连接结构浪费且极易过拟合。卷积网络利用“输入是图像”这一假设把神经元按宽、高、深度三个维度排列这里的 depth 指激活体积的第三维如 RGB 三通道并施加两类关键约束局部连接神经元只连接到输入的小区域与参数共享同一深度切片的神经元共用同一组权重。卷积层超参数与输出尺寸卷积层的参数是一组可学习的滤波器filter/kernel每个滤波器空间上很小、但沿输入体积的整个深度延伸。输出体积大小由四个超参数决定超参数含义典型值K滤波器数量输出深度例如 12、96F滤波器空间尺寸感受野例如 3、5、11S滑动步长stride1 或 2P零填充zero-padding常用(F-1)/2以保持空间尺寸给定输入空间尺寸W输出空间尺寸为W_out (W - F 2P) / S 1讲义特别强调步长设置必须使(W - F 2P)能被S整除否则神经元无法“整齐地”排布例如W10, F3, P0, S2时得到 4.5非法。零填充P (F-1)/2配合S 1可以精确保持输入输出空间尺寸一致这是非常常见的设置卷积层的一个常用超参数组合是F3, S1, P1。参数共享的巨大收益以 AlexNet 第一层为例若不共享参数55x55x96 290,400 个神经元各带 363 个权重参数高达 1.05 亿而参数共享后只有 96 组唯一权重96 个深度切片各一组即 96x11x11x3 34,848 个权重 96 个偏置。反向传播时每个深度切片内的梯度累加后统一更新这组权重。实现技巧——im2col卷积本质上是对滤波器与输入局部区域做点积常见实现是把局部区域拉直为列X_col、把滤波器拉直为行W_row一次大矩阵乘法np.dot(W_row, X_col)完成全部卷积再 reshape 回[W2, H2, K]。代价是内存输入值被复制多次收益是可以利用 BLAS 等高度优化的矩阵乘法实现同样的 im2col 思路也能复用于池化。池化层池化层周期性插入相邻卷积层之间逐步减小表示的空间尺寸从而减少参数量与计算量、控制过拟合。它独立作用于每个深度切片通常使用MAX 操作最常用形式2x2 滤波器、步长 2沿宽高各下采样 2 倍丢弃 75% 的激活深度不变超参数只有滤波器空间尺寸F与步长S输出尺寸(W - F)/S 1不引入任何参数因为它是输入的固定函数实践中只有两种常见变体F3, S2重叠池化和更常见的F2, S2更大的感受野破坏性过强。历史上也使用过平均池化、L2 范数池化但 max pooling 在实践中表现更好。常见架构模式讲义总结了层排列的经验法则Layer Patterns输入层之后通常是[CONV - RELU]堆叠周期性地插入POOL最终接FC层输出类别得分对 CIFAR-10 这种 32x32 输入一个简单架构是[INPUT - CONV - RELU - POOL - FC]输入 [32x32x3]CONV 用 12 个滤波器得 [32x32x12]RELU 不变POOL 得 [16x16x12]FC 输出 [1x1x10]常用规则用F3, S1, P1的卷积层保持空间尺寸用F2, S2的池化层逐步减半空间尺寸层间滤波器数量通常随空间尺寸缩小而增加如 32 - 16 - 8 的空间尺寸配合 32 - 64 - 128 的深度。这些模式正是 Q4 notebook 中设计小 CNN 并在 CIFAR-10 上训练时的依据。Q5PyTorch 与 CIFAR-10PyTorch.ipynb本部分你将使用PyTorch——一个流行且强大的深度学习框架。打开PyTorch.ipynb学习框架的运作方式最终自行设计一个卷积网络在 CIFAR-10 上训练尽可能取得最好的性能。从框架认知到自主设计notebook 通常会引导你经历以下阶段PyTorch 基础张量Tensor、自动微分autograd、nn.Module定义模型、优化器如optim.SGD、optim.Adam与数据加载torch.utils.data.DataLoader用 PyTorch 复现前面手写的网络将 Q1–Q4 中手写的全连接层、卷积层、BatchNorm、Dropout 用 PyTorch 的高层 API 表达出来验证两种实现的一致性自由设计 CNN在 CIFAR-10 上搭建并调优自己的卷积网络利用课程学到的技巧BatchNorm、Dropout、合适的权重初始化、学习率与正则化冲击更高的测试精度。结合课程知识的设计清单CIFAR-10 的训练集规模为 50,000 张 32x32 彩色图像。综合课程讲义的建议一个“容易取得不错成绩”的设计思路包括架构遵循[CONV-BN-RELU]堆叠 池化 最后全连接输出 10 类的模式卷积层可用F3, S1, P1保持尺寸池化用F2, S2BatchNorm在网络中使用 Batch Normalization插在卷积/全连接之后、激活之前显著提升对初始化的鲁棒性与训练稳定性Dropout在全连接层或卷积特征图后应用 inverted dropoutp0.5作为默认起点可在验证集上调权重初始化对 ReLU 网络使用 He 初始化w np.random.randn(n) * sqrt(2.0/n)优化器讲义推荐 Adam 作为默认算法或 SGD Nesterov Momentum学习率是重中之重必要时随训练进行衰减annealing数据预处理训练集上计算均值并零中心化再把统计量应用到验证/测试集。注意notebook 中“尽可能最好的性能”是指在该作业框架与合理算力范围内的优化目标不存在唯一“标准答案”重点是运用所学知识系统性地改进。提交作业Submitting your work完成除collect_submission.ipynb之外的所有 Colab notebooks 后按以下步骤提交重要提示请确保提交的 notebooks 已经运行过且单元格输出可见。第 1 步运行collect_submission.ipynb。在 Colab 中打开并执行其中的单元格该脚本会完成两件事生成你的代码 zip 压缩包.py与.ipynb文件名为a2_code_submission.zip把所有 notebooks 转换为一个 PDF 文件a2_inline_submission.pdf。如果这一步提交成功你会看到如下显示信息### Done! Please submit a2_code_submission.zip and a2_inline_submission.pdf to Gradescope. ###第 2 步上传到 Gradescope。将 PDF 与 zip 文件提交到本课程的 Gradescope 页面。提交前记得先把a2_code_submission.zip与a2_inline_submission.pdf下载到本地。从仓库中其他年份如 assignments/2024/assignment2.md的提交说明还可以获得一个实用经验完成全部 notebooks 后请确保每个 notebook 最近一次内核执行顺序是时间先后一致的否则可能引发 Gradescope 自动评分器的问题如果执行顺序混乱应重启内核并使用Runtime - Restart and Run All重新按顺序运行全部单元格。小结CS231n 2023 Assignment 2 是一次从“手写深度学习核心组件”到“使用现代框架实战”的完整训练闭环Q1让你掌握任意深度全连接网络与向量化反向传播以及从 Vanilla SGD、Momentum、Nesterov Momentum、RMSProp 到 Adam 的更新规则谱系Q2让你亲手实现 Batch Normalization含训练/测试两种模式与 Layer Normalization理解它们对深度网络训练稳定性的贡献Q3让你理解 Dropout 的原理训练随机丢弃、测试集成的预期匹配并实现更推荐的 inverted dropoutQ4让你实现卷积层、池化层等 CNN 核心组件掌握滤波器、步长、零填充、参数共享与 im2col 等关键概念Q5让你在 PyTorch 中把前述所有知识综合运用自主设计并调优一个能在 CIFAR-10 上取得良好性能的卷积网络。每一步都有课程讲义neural-networks-2.md、neural-networks-3.md、convolutional-networks.md、optimization-1.md作为原理支撑最终以collect_submission.ipynb一键生成代码 zip 与 PDF 提交到 Gradescope 收尾。建议按顺序推进先吃透 Q1 的更新规则再依次实现归一化与正则化最后用卷积架构与 PyTorch 完成综合实战。赞分享教程文档深度学习计算机视觉【免费下载链接】cs231n.github.ioPublic facing notes page项目地址https://gitcode.com/gh_mirrors/cs/cs231n.github.io点击查看免费下载相关推荐Apache Spark SQL DROP DATABASE 语句详解语法、参数与源码级实现Apache Spark SQL DROP DATABASE 语句详解语法、参数与源码级实现 本文围绕 Apache Spark SQL 中的 DROP DA教程文档深度学习计算机视觉draw.io 桌面版 Windows 快速安装免费的开源绘图工具装完就能画流程图draw.io 桌面版 Windows 快速安装免费的开源绘图工具装完就能画流程图 把免费的开源 draw.io 桌面版装到 Windows 上全程不花一教程文档深度学习计算机视觉CS231n 2022 Assignment 2 实战指南全连接网络、批归一化、Dropout、CNN 与网络可视化CS231n 2022 Assignment 2 实战指南全连接网络、批归一化、Dropout、CNN 与网络可视化 本指南基于 CS231nStanfor教程文档深度学习计算机视觉上一篇网易云音乐油猴脚本三分钟解锁周杰伦完整曲库与云盘快传的专业方案下一篇Escape from Tarkov训练器完整指南离线模式下的终极游戏辅助工具创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考