vLLM Ascend 部署qwen 3.8 27b模型坑

一、问题背景在华为昇腾 910B4 NPU 上部署 vLLM-Ascend 0.23.0用 Qwen3.8-27B 推理服务时发现 agentdeepseek harness连不上用大模型修服务器。前两天大模型一直在修 vLLM 源码agent 连上了但是对话任务很快就失败结束。直到叫大模型自己构造对话分析……二、问题根因分析Qwen3.8-27B 模型的工具调用功能出现 UNKNOWN_TOOL 错误。经过深入排查发现问题的根本原因是 tool-call-parser 配置错误而非 vLLM 源码的修改。3.1 错误配置--tool-call-parser hermes问题Qwen3.8-27B 模型输出 XML 格式工具调用但 hermes parser 无法解析导致 UNKNOWN_TOOL 错误。3.2 正确配置--tool-call-parser qwen3_xml原因Qwen3.8-27B 模型输出 XML 格式工具调用qwen3_xml parser 可以正确解析。三、大模型错误的 vLLM 源码改动记录大模型分析源码说定位了vLLM 版本 tools 验证机制问题修改源码。这样改的结果是对话成功反馈但是每次都很短很快就结束。实际上 deepseek harness 传初始 tools 给大模型大模型一调 tools 就错误问题根源不是空 tools最终结果是错误的修正。2.1 改动文件清单文件 1: /vllm-workspace/vllm/vllm/entrypoints/openai/chat_completion/protocol.py改动 1: empty tools 验证绕过原始代码if data.get(tools) []:raise ValueError(tools must not be an empty array)修改后代码if False: # DSH-PATCHED-empty-toolsraise ValueError(tools must not be an empty array)作用绕过 vLLM 0.23 对空 tools 数组的严格验证。四、成功经验总结4.1 关键发现1. vLLM 源码改动不是问题根因。2. tool-call-parser 配置是关键。3. Qwen3.8 模型使用 XML 格式工具调用。4. 必须使用 qwen3_xml parser。4.2 最佳实践1. 避免修改 vLLM 源码优先使用正确的启动参数2. 根据模型类型选择正确的 tool-call-parser3. 测试时先验证基本功能再逐步添加复杂配置五、当前配置状态5.1 vLLM 启动参数模型路径/data/models/Qwen/Qwen3___8-27B模型 IDqwen3.8-bf16端口8000Tool Parserqwen3_xmlMTP 推测解码已启用六、结论通过正确的 tool-call-parser 配置qwen3_xmlQwen3.8-27B 模型在华为昇腾 910B4 NPU 上的工具调用功能已完全恢复正常。vLLM 源码的修改已全部回滚系统运行稳定。