TensorRT 安装配置指南：从零跑通高性能 GPU 推理环境

TensorRT 安装配置指南从零跑通高性能 GPU 推理环境【免费下载链接】TensorRTNVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of TensorRT.项目地址: https://gitcode.com/GitHub_Trending/tens/TensorRT想把 PyTorch、ONNX 里训好的模型放到 NVIDIA GPU 上跑得更快TensorRT 就是标准答案——这个推理加速引擎会在层级别上优化模型、支持低精度计算把单卡时延压到训练框架够不到的水平。这篇文章带你把 TensorRT 安装、验证一遍面向第一次接触它的你。看完你会清楚三件事环境要备什么、怎么装、装完怎么确认真的跑通。除去下载等待命令行操作大约 10 分钟。从模型到推理TensorRT 到底快在哪层融合与自动调优相邻算子合并成一个内核构建时通过计时挑出当前 GPU 上最快的实现。低精度推理FP16 / BF16 / INT8 都支持用精度换计算量和显存的明显下降。可序列化引擎构建一次产出 plan 文件同硬件设备直接加载就能跑不用重新编译。框架侧兼容 ONNX、PyTorchTorch-TensorRT、HuggingFace Optimum 等主流导入路径细节看 导入工作流说明。动手前先确认这几项 项目版本要求操作系统Ubuntu 22.04 / 24.04、Rocky Linux 8 / 9也支持 WindowsCUDA13.3默认或 12.9cuDNN8.9可选构建工具CMake ≥ 3.31、GNU make ≥ 4.1Python3.10 – 3.14pip ≥ 19.0TensorRT GA 包11.1.0.106仅源码构建需要别急着装先把表过一遍。不满足的话先跳去官方下载页补齐回来继续Docker 用户可以直接用仓库里自带的构建镜像这一节大部分能跳过。装 配从空环境到能跑先定路线一行装主包还是构建源码别急着敲构建命令。如果你只想在脚本里用 Python API 建引擎一条命令就够# Python 路线一行装好无需构建源码 pip install tensorrt搞完这步 Python 里就能直接import tensorrt。需要 ONNX 解析器、内置插件或 C 示例程序的话接着往下看源码构建。把底层运行时装好CUDA 是 TensorRT 的计算底座没有它什么都跑不起来# 以 Ubuntu 为例安装 CUDA 13.3 sudo apt-get update sudo apt-get install -y cuda-toolkit-13-3 # 检查版本号是否出来 nvcc --version预期输出 V13.3 版本号如果提示找不到 nvcc先把/usr/local/cuda/bin加进 PATH。apt 源里没有对应版本时从 NVIDIA 官网下 runfile 安装即可。拉源码 更新子模块源码构建要先克隆仓库、初始化子模块# 克隆仓库并拉取子模块含 ONNX 解析器依赖 git clone -b main https://gitcode.com/GitHub_Trending/tens/TensorRT TensorRT cd TensorRT git submodule update --init --recursive搞完这步本地就有了 parsers、plugin、samples 等完整目录结构。指向 TensorRT GA 包源码构建需要链接官方二进制从官方下载页拿到 GA 包并解压后设置变量# 解压后把 TRT_LIBPATH 指向它的 lib 目录 cd ~/Downloads tar --zstd -xvf TensorRT-11.1.0.106-*.tar.zst export TRT_LIBPATH$(pwd)/TensorRT-11.1.0.106/lib设完用ls $TRT_LIBPATH应能看到 libnvinfer.so漏设这个是 cmake 阶段报错最常见的原因。构建源码依赖就绪正式进构建cd TensorRT mkdir -p build cd build # 指定 GA 库位置和输出目录然后并行构建 cmake .. -DTRT_LIB_DIR$TRT_LIBPATH -DTRT_OUT_DIR$(pwd)/out make -j$(nproc)构建成功后build/out/bin/下会生成 trtexec 命令行工具和插件库如果 cmake 报找不到 CUDA九成是底层运行时没装对回到第一步检查。验证 下一步最短验证命令按你的路线二选一# 源码构建路线 ./build/out/bin/trtexec --version # 或 Python 路线 python -c import tensorrt; print(tensorrt.__version__)输出 TensorRT version 11.1或对应版本号就说明环境就绪了。接下来值得看两个地方用 trtexec 快速基准测试和序列化你自己的 ONNX 模型看 trtexec 用法更多 C / Python 示例程序见 samples 目录索引。【免费下载链接】TensorRTNVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of TensorRT.项目地址: https://gitcode.com/GitHub_Trending/tens/TensorRT创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考