零成本入门RDMA：从零搭环境到跑通带宽测试（新手必藏）

没有 Mellanox 网卡、没有 InfiniBand 交换机也能在一台笔记本上学 RDMA本文用 VMware Workstation 创建两台 Ubuntu 虚拟机通过 Soft-RoCERXE​ 在普通虚拟网卡上模拟 RoCEv2 通信。从克隆虚拟机、加载 RDMA 内核模块、绑定 RXE 设备开始一步步带你1跑通 ibv_rc_pingpong 验证 RC QP 建链2用 rping 确认 RDMACM 控制面正常3用 ib_send_bw、ib_read_bw、ib_write_bw 实测三种 RDMA 操作的带宽全文附带完整命令、回显截图和原理图解帮你理解 SEND/READ/WRITE 的本质区别。读完你不仅能搭出一套可复现的 RDMA 实验环境还能把 perftest 工具的参数含义和测试原理彻底搞清楚。适合人群AI 网络工程师、存储开发者、RDMA 初学者、想在笔记本上练手的任何人。一、实验拓扑用 VMware Workstation安装2台虚拟机┌──────────────┐ VMnet (Host-Only) ┌──────────────┐│ Ubuntu A │ ens33 192.168.44.128 │ Ubuntu B ││ rxe_0 │ ────────────────────────────── │ rxe_0 ││ ibv server │ RoCEv2/UDP/4791 │ ibv client │└──────────────┘ └──────────────┘│ │└──────────── 宿主机 VMnet 虚拟交换机 ───────────┘两台 Ubuntu 22.04/24.04 VM网络适配器Host-Only 或自定义 VMnet能互 ping克隆现有 Ubuntu 即可不必重装右键已安装完成的系统“管理”-》“克隆”克隆后重新生成 MAC改主机名和 IP。右键克隆的系统“设置”-》网络适配器-》高级-》生成避免两台虚拟机mac冲突重新生成mac地址后IP地址会自动修改。改完后一台192.168.44.128另一台为192.168.44.129二、两台 VM 基础网络准备Node Asudo hostnamectl set-hostname node-aip addr show ens33sudo ip addr add 192.168.44.128/24 dev ens33ping 192.168.44.129Node Bsudo hostnamectl set-hostname node-bsudo ip addr add 192.168.44.129/24 dev ens33ping 192.168.44.128网卡名可能是 ens160 / eth0以 ip addr 为准。三、安装 RDMA 软件栈两台都执行sudo apt updatesudo apt install -y \rdma-core \ibverbs-utils \infiniband-diags \rdmacm-utils \perftest \libibverbs-dev \librdmacm-dev检查内核支持grep RDMA_RXE /boot/config-$(uname -r)# 期望CONFIG_RDMA_RXEm 或 y四、加载 Soft-RoCE 并绑定网卡两台都执行sudo modprobe rdma_rxelsmod | grep rdma_rxe绑定到实际网卡以 ens33 为例sudo rdma link add rxe_0 type rxe netdev ens33rdma link show正常输出类似link rxe_0/1 state ACTIVE physical_state LINK_UP netdev ens33查看 verbs 层ibv_devicesibv_devinfo -d rxe_0五、跑第一个 RoCEv2 通信ibv_rc_pingpong1. 服务端Node A192.168.44.128ibv_rc_pingpong -d rxe_0 -g 2输出2. 客户端Node B192.168.44.129ibv_rc_pingpong -d rxe_0 -g 2 192.168.44.128输出通过pingpong测试两台虚拟机的RDMA通信正常。七、用 rping 验证 RDMACM 建链服务端rping -s -a 192.168.44.128 -v客户端rping -c -a 192.168.44.128 -v -C 5说明 RDMACM RoCEv2 控制面也没问题。八、跑带宽/延迟perftest1ib_send_bw测试RDMA SEND 操作的带宽。服务端ib_send_bw -d rxe_0 -x 2客户端ib_send_bw -d rxe_0 -x 2 192.168.44.128测试原理如下2ib_read_bw测试读带宽读带宽ib_read_bw -d rxe_0 -x 2ib_read_bw -d rxe_0 -x 2 192.168.44.128测试原理如下3写带宽测试ib_write_bwib_write_bw -d rxe_0 -x 2 --report_gbitsib_write_bw -d rxe_0 -x 2 --report_gbits 192.168.44.128测试原理如下