人工智能入门 | PyTorch框架介绍和安装步骤

前言Hello大家好我是小哥谈。PyTorch是一个开源的深度学习框架它基于Python语言并提供了高级的神经网络接口可以用于构建和训练各种深度学习模型。它的设计理念是灵活性和易用性并且提供了动态图的特性使得用户可以根据需要自由地定义和修改计算图。本节课就给大家介绍一下PyTorch框架及其安装步骤希望大家学习之后能够有所收获目录1.PyTorch介绍2.PyTorch主要模块3.PyTorch安装步骤步骤1下载和安装nvidia显卡驱动步骤2下载CUDA步骤3下载cuDNN步骤4安装cuda步骤5安装cuDNN步骤6CUDA安装测试步骤7安装Anaconda步骤8安装pyTorch1.PyTorch介绍PyTorch是一个开源的Python机器学习库其前身是2002年诞生于纽约大学的Torch。它是美国Facebook公司使用Python语言开发的一个深度学习的框架2017年1月Facebook人工智能研究院FAIR在GitHub上开源了PyTorch。PyTorch不仅能够实现强大的GPU加速同时还支持动态神经网络这一点是现在很多主流框架如TensorFlow都不支持的。PyTorch基于Python语言并提供了高级的神经网络接口可以用于构建和训练各种深度学习模型。它的设计理念是灵活性和易用性并且提供了动态图的特性使得用户可以根据需要自由地定义和修改计算图。在PyTorch中计算图由张量Tensor和函数Function组成。张量是一种多维数组类似于NumPy的数组可以在GPU上进行加速计算。函数则表示张量之间的操作当张量通过函数进行计算时会构建一个计算图。这个计算图可以自动求导即计算张量对于某个变量的导数这对于训练神经网络非常重要。PyTorch还提供了丰富的工具和库用于数据加载、模型构建、优化器、损失函数等等使得用户可以快速地构建和训练各种深度学习模型。此外PyTorch也支持分布式训练和部署到生产环境中。PyTorch提供了两个高级功能1具有强大 的GPU加速的张量计算如Numpy2包含自动求导系统的深度神经网络。目前很多知名公司都在使用PyTorch除了Facebook之外Twitter、GMU和Salesforce等机构也都采用了PyTorch。TensorFlow和Caffe都是命令式的编程语言而且是静态的即首先必须构建一个神经网络然后一次又一次地使用相同的结构如果想要改变网络的结构就必须从头开始。但是对于PyTorch通过反向求导技术可以让你零延迟地任意改变神经网络的行为而且其实现速度快。正是这一灵活性是PyTorch对比TensorFlow的最大优势。另外PyTorch的代码对比TensorFlow而言更加简洁直观底层代码也更容易看懂这对于使用它的人来说肯定是一件令人激动的事。PyTorch特点1简洁PyTorch的设计追求最少的封装尽量避免重复造轮子简洁的设计带来的另外一个好处就是代码易于理解。PyTorch的源码只有TensorFlow的十分之一左右更少的抽象、更直观的设计使得PyTorch的源码十分易于阅读。2速度PyTorch的灵活性不以牺牲速度为代价在许多评测中PyTorch 的速度表现胜过 TensorFlow和Keras 等框架。3易用PyTorch是所有的框架中面向对象设计的最优雅的一个。PyTorch的面向对象的接口设计来源于Torch而Torch的接口设计以灵活易用而著称Keras作者最初就是受Torch的启发才开发了Keras。PyTorch继承了Torch的衣钵尤其是API的设计和模块的接口都与Torch高度一致。PyTorch的设计最符合人们的思维它让用户尽可能地专注于实现自己的想法即所思即所得不需要考虑太多关于框架本身的束缚。PyTorch优势1支持GPU2灵活支持动态神经网络3底层代码易于理解4命令式体验5自定义扩展当然现今任何一个深度学习框架都有其缺点PyTorch也不例外对比TensorFlow其全面性处于劣势目前PyTorch还不支持快速傅里叶、沿维翻转张量和检查无穷与非数值张量针对移动端、嵌入式部署以及高性能服务器端的部署其性能表现有待提升其次因为这个框架较新使得他的社区没有那么强大在文档方面其C库大多数没有文档。总的来说PyTorch是一个功能强大、灵活易用的深度学习框架被广泛应用于学术界和工业界。它提供了丰富的功能和接口使得用户可以更加方便地进行深度学习研究和应用开发。解释♨️♨️♨️动态图编好程序即可执行。静态图先搭建计算图后运行允许编译器进行优化另外静态图代码编程复杂调试不乐观。说明♨️♨️♨️PyTorch官网PyTorchPyTorch文档主页 - PyTorch中文文档2.PyTorch主要模块torch模块包含激活函数和主要的张量操作torch.Tensor模块定义了张量的数据类型整型、浮点型等另外张量的某个类方法会返回新的张量如果方法后缀带下划线就会修改张量本身。比如Tensor.add是当前张量和别的张量做加法返回新的张量。如果是ensor.add_就是将加和的张量结果赋值给当前张量。torch.cuda定义了CUDA运算相关的函数。如检查CUDA是否可用及序号清除其缓存、设置GPU计算流stream等。torch.nn神经网络模块化的核心包括卷积神经网络nn.ConvNd和全连接层线性层nn.Linear等以及一系列的损失函数。torch,nn.functional定义神经网络相关的函数例如卷积函数、池化函数、log_softmax函数等部分激活函数。torch.nn模块一般会调用torch.nn.functional的函数。torch.nn.init权重初始化模块。包括均匀初始化torch.nn.init.uniform_和正态分布归一化torch.nn.init.normal__表示直接修改原张量的数值并返回torch.optim定义一系列优化器如optim.SGD、optim.Adam、optim.AdamW等。以及学习率调度器torch.optim.lr_scheduler并可以实现多种学习率衰减方法等。具体参考官方教程。torch.autograd自动微分算法模块。定义一系列自动微分函数例如torch.autograd.backward反向传播函数和torch.autograd.grad求导函数一个标量张量对另一个张量求导以及设置不求导部分。torch.distributed分布式计算模块设定并行运算环境。torch.distributions强化学习等需要的策略梯度法概率采样计算图 无法直接对离散采样结果求导这个模块可以解决这个问题torch.hub提供一系列预训练模型给用户使用。torch.hub.list获取模型的checkpointtorch.hub.load来加载对应模型。torch.random保存和设置随机数生成器。manual_seed设置随机数种子initial_seed设置程序初始化种子。set_rng_state设置当前随机数生成器状态get_rng_state获取前随机数生成器状态。设置统一的随机数种子可以测试不同神经网络的表现方便进行调试。torch.jit动态图转静态图保存后被其他前端支持C等。关联的还有torch.onnx深度学习模型描述文件用于和其它深度学习框架进行模型交换torch.utils.benchmark记录深度学习模型中各模块运行时间通过优化运行时间来优化模型性能torch.utils.checkpoint以计算时间换空间优化模型性能。因为反向传播时需要保存中间数据大大增加内存消耗。此模块可以记录中间数据计算过程然后丢弃中间数据用的时候再重新计算。这样可以提高batch_size使模型性能和优化更稳定。torch.utils.data主要是Dataset和DataLoader。torch.utils.tensorboardpytorch对tensorboard的数据可视化支持工具。显示模型训练过程中的损失函数和张量权重的直方图以及中间输出的文本、视频等。方便调试程序。3.PyTorch安装步骤步骤1下载和安装nvidia显卡驱动首先要在设备管理器中查看你的显卡型号比如在这里可以看到我的显卡型号为Titan XP。NVIDIA 驱动下载官方驱动 | NVIDIA下载对应你的英伟达显卡驱动。下载之后就是简单的下一步直到完成。完成之后在cmd中输入执行nvidia-smi如果有错误nvidia-smi 不是内部或外部命令也不是可运行的程序 或批处理文件。把C:\Program Files\NVIDIA Corporation\NVSMI添加到环境变量的path中。再重新打开cmd窗口。如果输出下图所示的显卡信息说明你的驱动安装成功。步骤2下载CUDACUDA下载链接CUDA Toolkit 12.2 Update 2 Downloads | NVIDIA Developer下载后得到文件cuda_10.2.89_441.22_win10.exe步骤3下载cuDNNcudnn下载地址CUDA Deep Neural Network (cuDNN) | NVIDIA Developer需要有账号下载后得到文件cudnn-10.2-windows10-x64-v7.6.5.32.zip步骤4安装cuda(1) 将cuda运行安装建议默认路径安装时可以勾选Visual Studio Integration(2) 安装完成后设置环境变量计算机上点右键打开属性-高级系统设置-环境变量可以看到系统中多了CUDA_PATH和CUDA_PATH_V10_2两个环境变量。接下来还要在系统中添加以下几个环境变量 这是默认安装位置的路径: C:\ProgramData\NVIDIA Corporation\CUDA Samples\v10.2CUDA_SDK_PATH C:\ProgramData\NVIDIA Corporation\CUDA Samples\v10.2 CUDA_LIB_PATH %CUDA_PATH%\lib\x64 CUDA_BIN_PATH %CUDA_PATH%\bin CUDA_SDK_BIN_PATH %CUDA_SDK_PATH%\bin\win64 CUDA_SDK_LIB_PATH %CUDA_SDK_PATH%\common\lib\x64在系统变量 Path 的末尾添加%CUDA_LIB_PATH%;%CUDA_BIN_PATH%;%CUDA_SDK_LIB_PATH%;%CUDA_SDK_BIN_PATH%;再添加如下5条默认安装路径C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\lib\x64 C:\Program Files\NVIDIAGPU Computing Toolkit\CUDA\v10.2\include C:\Program Files\NVIDIA GPU ComputingToolkit\CUDA\v10.2\extras\CUPTI\lib64 C:\ProgramData\NVIDIA Corporation\CUDASamples\v10.2\bin\win64 C:\ProgramData\NVIDIA Corporation\CUDASamples\v10.2\common\lib\x64步骤5安装cuDNN复制cudnn文件对于cudnn直接将其解开压缩包然后需要将bin、include、lib中的文件复制粘贴到cuda的文件夹下。C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2步骤6CUDA安装测试最后测试cuda是否配置成功打开cmd执行nvcc -V即可看到cuda的信息步骤7安装AnacondaAnaconda 是一个用于科学计算的 Python 发行版支持 Linux、Mac、Windows包含了众多流行的科学计算、数据分析的 Python 包。✅1下载安装包Anaconda下载Windows版Free Download | Anaconda2然后安装Anaconda3添加Aanaconda国内镜像配置清华TUNA提供了 Anaconda 仓库的镜像运行以下命令conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/conda config --set show_channel_urls yes步骤8安装pyTorch如果使用YOLOv5版本v4.0以上的代码PyTorch1.6 改为 PyTorch1.7。注意需要安装PyTorch1.7以上的版本创建虚拟环境环境名字可自己确定这里本人使用 pytorch1.7作为环境名conda create -n pytorch1.7 python3.8安装成功后激活PyTorch1.7环境conda activate pytorch1.7在所创建的 PyTorch环境下安装 PyTorch的1.7版本, 执行命令conda install pytorch torchvision cudatoolkit10.2 -c pytorch注意10.2处应为自己电脑上的cuda版本号