Tabby 在 ROCm 下提示 AMD 设备不受支持怎么解决？

Tabby 在 ROCm 下提示 AMD 设备不受支持怎么解决【免费下载链接】tabbySelf-hosted AI coding assistant项目地址: https://gitcode.com/GitHub_Trending/tab/tabby在 Linux 上用--device rocm启动 Tabby 后如果你的 AMD 显卡不在 ROCm 的官方支持列表里启动会因设备不受支持而失败。官方 FAQ 给出的解决办法是设置HSA_OVERRIDE_GFX_VERSION环境变量让它指向一个 ROCm 支持的相近显卡的 GFX 版本之后 Tabby 服务即可正常启动并提供代码补全。本文基于 FAQ 与 本地 ROCm 运行文档 给出完整的设置与验证步骤。前提条件Tabby 的 ROCm 支持目前只在 Linux 上可用。按 ROCm 运行文档 的说法ROCm 支持当时仅存在于 nightly 构建预计在 0.9 版本转为稳定。系统已在支持的平台上安装好 ROCm按 AMD 官方安装说明操作文档中以 Arch Linux 成功安装 ROCm 包为例。设置 HSA_OVERRIDE_GFX_VERSIONFAQ 的原文建议如果存在一块 ROCm 支持的相近 GPU可以把HSA_OVERRIDE_GFX_VERSION设为对应值。文档给出的示例值RDNA2 架构10.3.0RDNA3 架构11.0.0方式一直接运行编译好的 Tabby 二进制如果你按文档自己编译需加--features rocm参数或直接使用 ROCm 版本的二进制在启动命令前设置该环境变量即可。以下示例沿用文档中的模型与参数10.3.0需按你的显卡架构替换为文档给出的对应值# RDNA2 示例RDNA3 请改为 11.0.0 HSA_OVERRIDE_GFX_VERSION10.3.0 ./tabby serve --model TabbyML/StarCoder-1B --device rocm方式二使用 Docker 部署文档给出的 ROCm Docker 启动命令使用 GPU 直通参数--device/dev/kfd --device/dev/dri。设置环境变量时参照 FAQ 中docker run -e 变量名值的写法在命令中增加一行-e HSA_OVERRIDE_GFX_VERSION...docker run \ --device/dev/kfd --device/dev/dri --security-opt seccompunconfined --group-add video \ -p 8080:8080 -v $HOME/.tabby:/data \ -e HSA_OVERRIDE_GFX_VERSION10.3.0 \ tabbyml/tabby-rocm \ serve --device rocm --model StarCoder-1B其中$HOME是 shell 中指向当前用户主目录的变量-v $HOME/.tabby:/data用于持久化 Tabby 数据均保持文档原样。验证服务是否正常设置生效的判断方式是 Tabby 服务能正常启动并响应补全请求。按 扩展故障排查文档 的步骤检查服务启动后日志应出现类似Listening at 0.0.0.0:8080的消息浏览器打开http://localhost:8080/swagger-ui/应显示 Swagger UI 页面。文档给出的本地直接运行成功时的输出示例如下文档示例实际输出会因版本和模型不同而有差异在 Swagger UI 中展开/v1/completions点击Try it out再点Execute或者用curl发送补全请求curl -X POST \ http://localhost:8080/v1/completions \ -H accept: application/json \ -H Content-Type: application/json \ -d { language: python, segments: { prefix: def fib(n):\n , suffix: \n return fib(n - 1) fib(n - 2) } }收到补全响应即说明 Tabby 服务运行正常。Linux 安装文档同时说明启动成功后还可以访问http://localhost:8080打开 Tabby 实例页面。限制与替代路径FAQ 指出 ROCm 下的实际 VRAM 上限目前大多未经测试但 CodeLlama-7B 在 AMD Radeon RX 7900 XTX 上大约占用 8GB VRAM依据 ROCm 监控工具。选型时可参考此数据。Tabby 单实例只使用一块 GPU如需多卡按 FAQ 的说法启动多个 Tabby 实例并分别设置HIP_VISIBLE_DEVICESrocm或CUDA_VISIBLE_DEVICEScuda。如果显卡连相近的 ROCm 支持版本都找不到、仍然无法用 ROCm 运行可选分支是改用 Vulkan按 Vulkan 支持文档 下载 Vulkan 预编译二进制并安装 Vulkan 库Linux 下如 Arch 的vulkan-icd-loader、AMD 的vulkan-radeonDebian 的libvulkan1然后./tabby_x86_64-manylinux2014-vulkan serve --model StarCoder-1B --device vulkan启动时若看到 Vulkan 已找到显卡的输出即表示 GPU 加速可用。按上述顺序操作后设备不受支持的报错应消除、服务进入监听状态并返回补全结果若 Swagger 页面打不开或补全请求无响应再按 故障排查文档 检查服务端日志中的报错。【免费下载链接】tabbySelf-hosted AI coding assistant项目地址: https://gitcode.com/GitHub_Trending/tab/tabby创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考