深度学习环境搭建指南：CUDA、cuDNN、PyTorch 及 TensorRT 配置

深度学习环境搭建指南CUDA、cuDNN、PyTorch 及 TensorRT 配置本文档旨在指导如何在Windows环境下从零搭建深度学习推理环境重点包含显卡驱动更新、CUDA/cuDNN安装、PyTorch部署以及 TensorRT 的详细配置流程。1. 更新显卡驱动在安装任何CUDA工具包之前首先需要确保显卡驱动是最新的以支持较高版本的CUDA。1. 前往 NVIDIA驱动下载官网。2. 根据你的显卡型号如RTX 3090, RTX 4090等和操作系统选择对应的驱动。3. 下载并运行安装包选择自定义安装并勾选执行清洁安装以确保旧配置被清除。2. 查看CUDA支持版本驱动更新完成后需要确认当前驱动支持的最高CUDA版本。1. 按下 Win R输入 cmd 打开命令提示符。2. 输入以下命令并回车nvidia-smi3. 观察右上角显示的 CUDA Version例如 12.2。注意这里显示的版本是你当前驱动支持的最高CUDA版本你安装的CUDA Toolkit版本可以低于或等于此版本但不能高于它。3. 安装 CUDA Toolkit根据上一步确认的版本下载对应的CUDA Toolkit。1. 前往 CUDA Toolkit Archive。2. 选择与你需求匹配的版本建议与 nvidia-smi 显示版本一致或略低。3. 选择操作系统Windows、架构x86_64和版本10/11下载 exe (local) 安装包。4. 运行安装程序建议选择精简或自定义安装记住安装路径默认为 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.x。4. 安装 cuDNNcuDNN是基于CUDA的深层神经网络库必须与CUDA版本严格对应。1. 前往 NVIDIA cuDNN下载页面需登录NVIDIA账号。2. 下载与已安装CUDA版本匹配的cuDNN例如 CUDA 11.x 对应 cuDNN 8.x。3. 运行安装程序 建议选择精简或自定义安装记住安装路径5. 安装 PyTorch使用pip安装与CUDA版本对应的PyTorch。在命令行中输入以CUDA 11.8为例具体请参照PyTorch官网命令pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118注如果是其他CUDA版本请将 cu118 替换为对应版本号。6. 下载并配置 TensorRT关键步骤TensorRT是NVIDIA的高性能深度学习推理SDK。6.1 下载 TensorRT1. 前往 TensorRT下载页面https://developer.nvidia.cn/tensorrt/download。2. 选择与你操作系统和已安装CUDA版本相匹配的TensorRT版本。3. 下载 Zip 格式的安装包推荐Zip格式方便手动配置。6.2 确定CUDA路径我们需要知道CUDA具体安装在哪里。1. 打开CMD。2. 输入以下命令where nvcc3. 系统会返回类似 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin\nvcc.exe 的路径。记录此路径的前半部分即 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8这就是你的CUDA根目录。6.3 解压与文件拷贝1. 将下载好的 TensorRT 压缩包解压到一个没有中文路径的目录下例如 D:\TensorRT-8.x.x.x。2. 重要操作打开解压后的 TensorRT 文件夹分别找到 lib 和 include 目录。3. 将 lib 目录下的所有文件通常是 .dll 和 .lib 文件以及 include 目录下的所有头文件.h 文件分别复制。4. 将 lib 目录下的文件粘贴到 CUDA 根目录下的 lib\x64 文件夹中或 lib 文件夹将 include 目录下的文件粘贴到 CUDA 根目录下的 include 文件夹中。目的让系统在调用CUDA库时能同时找到TensorRT的动态链接库和头文件。6.4 配置环境变量为了让系统全局识别TensorRT命令和库文件需要配置环境变量。1. 在Windows搜索栏搜索编辑系统环境变量。2. 点击环境变量按钮。3. 在用户变量或系统变量中找到 Path双击编辑。4. 点击新建依次添加以下路径请根据实际情况修改盘符和版本号- TensorRT的bin目录D:\TensorRT-8.x.x.x\bin- CUDA的lib目录C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\lib- CUDA的include目录C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\include- CUDA的x64库目录C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\lib\x645. 点击确定保存所有窗口。7. 验证安装重启电脑或重新打开CMD输入以下命令验证1. 检查CUDAnvcc -V2. 检查TensorRTPython环境python -c import tensorrt; print(tensorrt.__version__)如果输出了对应的版本号说明环境搭建成功