资讯详情

vLLM Ascend 部署qwen 3.8 27b模型坑

📅 2026/10/20 6:45:58 | 华诺云谱 👁 阅读
vLLM Ascend 部署qwen 3.8 27b模型坑
一、问题背景在华为昇腾 910B4 NPU 上部署 vLLM-Ascend 0.23.0用 Qwen3.8-27B 推理服务时发现 agentdeepseek harness连不上用大模型修服务器。前两天大模型一直在修 vLLM 源码agent 连上了但是对话任务很快就失败结束。直到叫大模型自己构造对话分析……二、问题根因分析Qwen3.8-27B 模型的工具调用功能出现 UNKNOWN_TOOL 错误。经过深入排查发现问题的根本原因是 tool-call-parser 配置错误而非 vLLM 源码的修改。3.1 错误配置--tool-call-parser hermes问题Qwen3.8-27B 模型输出 XML 格式工具调用但 hermes parser 无法解析导致 UNKNOWN_TOOL 错误。3.2 正确配置--tool-call-parser qwen3_xml原因Qwen3.8-27B 模型输出 XML 格式工具调用qwen3_xml parser 可以正确解析。三、大模型错误的 vLLM 源码改动记录大模型分析源码说定位了vLLM 版本 tools 验证机制问题修改源码。这样改的结果是对话成功反馈但是每次都很短很快就结束。实际上 deepseek harness 传初始 tools 给大模型大模型一调 tools 就错误问题根源不是空 tools最终结果是错误的修正。2.1 改动文件清单文件 1: /vllm-workspace/vllm/vllm/entrypoints/openai/chat_completion/protocol.py改动 1: empty tools 验证绕过原始代码if data.get(tools) []:raise ValueError(tools must not be an empty array)修改后代码if False: # DSH-PATCHED-empty-toolsraise ValueError(tools must not be an empty array)作用绕过 vLLM 0.23 对空 tools 数组的严格验证。四、成功经验总结4.1 关键发现1. vLLM 源码改动不是问题根因。2. tool-call-parser 配置是关键。3. Qwen3.8 模型使用 XML 格式工具调用。4. 必须使用 qwen3_xml parser。4.2 最佳实践1. 避免修改 vLLM 源码优先使用正确的启动参数2. 根据模型类型选择正确的 tool-call-parser3. 测试时先验证基本功能再逐步添加复杂配置五、当前配置状态5.1 vLLM 启动参数模型路径/data/models/Qwen/Qwen3___8-27B模型 IDqwen3.8-bf16端口8000Tool Parserqwen3_xmlMTP 推测解码已启用六、结论通过正确的 tool-call-parser 配置qwen3_xmlQwen3.8-27B 模型在华为昇腾 910B4 NPU 上的工具调用功能已完全恢复正常。vLLM 源码的修改已全部回滚系统运行稳定。
📝

华诺云谱内容团队

资深建站顾问 · 行业研究员

10年+企业数字化服务经验,专注智能建站、SEO优化与品牌营销,持续输出建站技巧、行业洞察与营销干货,已帮助5000+企业实现数字化增长。

你可能需要的服务

订阅华诺云谱资讯周报

每周一封,精选建站技巧、SEO与营销干货,直达邮箱。已有 8,000+ 企业主订阅,助你少走弯路。

↑