构建基于 AMD 显卡的高性价比大模型推理集群：TaoToken 统一 API 接入与 ROCm 配置实战

1. AMD 显卡跑大模型推理集群到底卡在哪如果你手里有几张 AMD Instinct 或者 RX 7900 系列的卡想搭一个能对外提供大模型推理服务的集群大概率会遇到三个问题ROCm 环境变量配不对导致容器里看不到卡、Kubernetes 或 Slurm 调度时 GPU 资源分配混乱、以及推理服务本身怎么统一管理多个节点的 API 入口。这篇就围绕这三个卡点把从单卡到多节点的链路走一遍。适合谁看手上有 AMD 显卡、想用 vLLM 或类似推理框架做私有化部署、并且需要一套统一 API 通道来管理多节点请求的团队。不涉及任何网络访问工具全部在合规的本地或云主机环境内操作。核心检索词先明确AMD 大模型推理集群、ROCm 环境配置、Kubernetes GPU 调度、Slurm GPU 绑定、TaoToken 统一 API。下面按实际落地顺序展开每一步都给可复制的命令和配置。2. 前置准备ROCm 环境与 TaoToken 统一 Key2.1 ROCm 版本选择与基础验证ROCm 对内核版本和显卡型号有明确对应关系。截至当前稳定版本ROCm 6.x 对 MI300X、MI250、RX 7900 XTX 等都有较好支持。先在宿主机上确认驱动状态# 查看 ROCm 版本 cat /opt/rocm/.info/version # 查看 GPU 识别情况 rocm-smi # 查看 HIP 运行时信息 hipconfig --full如果rocm-smi能列出所有卡且温度、显存正常说明底层驱动没问题。接下来关键是环境变量很多容器内看不到卡都是因为这几个变量没传对export ROCM_PATH/opt/rocm export HIP_VISIBLE_DEVICES0,1,2,3 export CUDA_VISIBLE_DEVICES0,1,2,3 # 部分框架仍读这个变量 export HSA_OVERRIDE_GFX_VERSION9.0.0 # 根据实际架构调整RX 7900 系列常用 export PYTORCH_ROCM_ARCHgfx90a # MI250 用 gfx90aMI300X 用 gfx942HSA_OVERRIDE_GFX_VERSION这个变量在非官方支持的消费级卡上尤其重要不设置的话 PyTorch 可能直接报no kernel image available。2.2 TaoToken 统一 API 通道的定位集群搭好之后对外提供推理服务时通常需要一层统一入口来管理 Key、做请求路由和用量统计。TaoToken 在这里的角色是统一 API 通道你可以在官网 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 了解整体能力API 端点固定为 https://taotoken.net/api不加 UTM。实际操作中先在控制台创建 API Key然后把这个 Key 配置到你的推理网关或客户端里。对于集群场景建议每个节点或每个服务实例用独立的 Key方便后续按节点排查请求来源。API Keys 管理页面在 https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite 接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 。注意TaoToken 是统一 API 通道不是替代推理框架本身。你的 vLLM 或 TGI 服务仍然跑在本地 AMD 集群上TaoToken 负责的是请求入口和 Key 管理这一层。3. 可复制配置Kubernetes 与 Slurm 双路径3.1 Kubernetes 下用 rocm-device-plugin 暴露 GPUK8s 识别 AMD GPU 的标准做法是部署rocm-device-plugin。先确认节点上 kubelet 已启动且能访问/dev/kfd和/dev/dri。然后部署 DaemonSetapiVersion: apps/v1 kind: DaemonSet metadata: name: amd-gpu-device-plugin namespace: kube-system spec: selector: matchLabels: name: amd-gpu-device-plugin template: metadata: labels: name: amd-gpu-device-plugin spec: priorityClassName: system-node-critical tolerations: - key: CriticalAddonsOnly operator: Exists containers: - name: amd-gpu-device-plugin image: rocm/k8s-device-plugin:latest securityContext: allowPrivilegeEscalation: false capabilities: drop: [ALL] volumeMounts: - name: device-plugin mountPath: /var/lib/kubelet/device-plugins - name: dev mountPath: /dev volumes: - name: device-plugin hostPath: path: /var/lib/kubelet/device-plugins - name: dev hostPath: path: /dev部署后检查节点资源kubectl get nodes -o json | jq .items[].status.allocatable[amd.com/gpu]如果返回数量正确说明 GPU 已被 K8s 识别。接下来在推理 Pod 里申请 GPUresources: limits: amd.com/gpu: 1这里有个坑ROCm 容器对驱动版本极其敏感。建议用 DaemonSet 在节点上统一挂载/opt/rocm目录确保容器内用户态库和宿主机内核模块版本一致。版本错位最典型的表现就是容器内rocm-smi报No GPU found。3.2 Slurm 下用 Gres 绑定 GPU对于批处理或长时间占卡的推理任务Slurm 更合适。在slurm.conf中定义GresTypesgpu NodeNamegpu-node-[01-04] Gresgpu:mi300x:8然后在gres.conf中声明具体型号NodeNamegpu-node-01 Namegpu Typemi300x File/dev/dri/renderD128提交任务时用--gresgpu:mi300x:2申请两张卡。为了防止多任务争抢同一张卡写一个 Prolog 脚本自动设置HIP_VISIBLE_DEVICES#!/bin/bash # /etc/slurm/prolog.d/gpu_bind.sh export HIP_VISIBLE_DEVICES$SLURM_JOB_GPUS export ROCR_VISIBLE_DEVICES$SLURM_JOB_GPUS在slurm.conf中挂上Prolog/etc/slurm/prolog.d/gpu_bind.sh这样每个任务启动前都会自动绑定到分配的物理卡上避免上下文切换开销。3.3 推理服务配置骨架vLLM ROCm以 vLLM 为例在单节点多卡上启动张量并行推理服务python -m vllm.entrypoints.openai.api_server \ --model /models/Qwen2.5-72B-Instruct \ --tensor-parallel-size 4 \ --dtype float16 \ --max-model-len 8192 \ --gpu-memory-utilization 0.90 \ --port 8000 \ --host 0.0.0.0关键参数说明--tensor-parallel-size要和实际卡数匹配且参与并行的卡最好在同一 PCIe 根复合体下--gpu-memory-utilization在 AMD 卡上建议先设 0.85 到 0.90留出显存给 ROCm 运行时。多节点场景下每个节点跑一个 vLLM 实例前面用 Nginx 或 TaoToken 统一入口做负载均衡。TaoToken 的 API 通道可以直接对接这些实例你只需要在控制台配置好上游地址和 Key。4. 验证请求与成功结果4.1 单节点连通性验证服务启动后先用 curl 发一个最小请求curl -X POST http://localhost:8000/v1/completions \ -H Content-Type: application/json \ -d { model: /models/Qwen2.5-72B-Instruct, prompt: 用一句话解释 ROCm 是什么, max_tokens: 64 }如果返回 JSON 里choices[0].text有正常内容说明单节点推理链路通了。同时观察rocm-smi的显存占用和 GPU 利用率确认请求确实跑在 AMD 卡上。4.2 通过 TaoToken 统一入口验证把本地 vLLM 实例注册到 TaoToken 后用统一 API 端点发请求curl -X POST https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer YOUR_TAOTOKEN_KEY \ -H Content-Type: application/json \ -d { model: your-cluster-model, messages: [{role: user, content: 集群连通性测试}], max_tokens: 32 }返回正常即说明从客户端到 TaoToken 再到本地 AMD 集群的整条链路打通。如果你想先在模型对话页面快速验证 Key 是否可用可以打开 https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_contentchatutm_campaignrewrite 直接测试。4.3 多节点压测观察用wrk或locust对统一入口发并发请求同时在各节点上跑watch -n 1 rocm-smi --showuse --showmemuse观察各卡利用率是否均匀。如果某张卡明显偏高检查 Slurm 的 GPU 绑定或 K8s 的 device plugin 分配是否准确。5. 本篇常见错排查5.1 容器内 rocm-smi 报 No GPU found最常见原因是/dev/kfd和/dev/dri没挂载进容器。在 K8s Pod 里加volumeMounts: - mountPath: /dev/kfd name: kfd - mountPath: /dev/dri name: dri volumes: - name: kfd hostPath: path: /dev/kfd - name: dri hostPath: path: /dev/dri同时确认securityContext里没有禁用设备访问。5.2 PyTorch 报 no kernel image available这是HSA_OVERRIDE_GFX_VERSION没设对。先查显卡架构rocminfo | grep gfx然后设置对应值。RX 7900 XTX 是gfx1100但很多框架需要覆盖为11.0.0。MI250 是gfx90aMI300X 是gfx942。5.3 K8s 节点显示 GPU 数量为 0检查 device plugin Pod 日志kubectl logs -n kube-system -l nameamd-gpu-device-plugin常见原因是 kubelet 的 device plugin 目录权限不对或者节点上 ROCm 驱动版本和 plugin 镜像不匹配。建议 plugin 镜像版本和宿主机 ROCm 大版本保持一致。5.4 Slurm 任务申请到 GPU 但进程看不到卡检查 Prolog 脚本是否真的执行了。可以在脚本里加一行日志echo Job $SLURM_JOB_ID GPU: $SLURM_JOB_GPUS /var/log/slurm/gpu_bind.log如果日志没输出说明 Prolog 路径或权限有问题。另外确认slurm.conf里Prolog和PrologSlurmctld的区别GPU 绑定一般用Prolog就够了。5.5 TaoToken 请求返回 401 或 403先确认 Key 是否在控制台正确创建且未过期。如果 Key 没问题检查请求头格式-H Authorization: Bearer sk-xxxx注意 Bearer 后面有一个空格。另外确认 API 端点用的是https://taotoken.net/api而不是其他路径。如果还是不通对照接入文档检查上游地址配置。6. 长期编码与 Agent 场景的接入建议如果你不只是做一次性推理验证而是要把这套 AMD 集群接入长期的编码助手或 Agent 工作流建议走 Coding Plan 这条线。在 https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding_planutm_campaignrewrite 可以看到针对持续编码场景的配置方式。实际经验是集群推理服务和编码 Agent 对延迟的敏感度不同。Agent 场景更看重首 Token 延迟和长上下文稳定性所以在 vLLM 启动参数上可以适当降低--max-model-len来换取更快的调度或者用--enable-chunked-prefill来优化长请求。另外多节点部署时建议把 Agent 请求固定路由到同一组卡上避免跨节点通信带来的额外延迟。如果你用的是 Claude Code 这类工具Anthropic 兼容端点配置在 https://taotoken.net/claudecode-anthropic?utm_sourcetaotoken_aicg_blog_endutm_contentclaudecode_anthropicutm_campaignrewrite 把 Base URL 指向 TaoToken 的 API 地址即可。最后一步实操在集群所有节点上统一执行一次rocm-smi --showtopo把拓扑输出保存下来。后面每次扩容或换卡时对照这份拓扑调整--tensor-parallel-size和 PCIe 绑定策略能省掉大量排查时间。