在 Xinference 中启动医疗推理大模型 HuatuoGPT-o1-Qwen2.5规格解析与实战部署指南【免费下载链接】inferenceSwap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.项目地址: https://gitcode.com/GitHub_Trending/in/inference本指南围绕 Xinference 内置模型 HuatuoGPT-o1-Qwen2.5 展开系统讲解它的核心特性、7B/72B 两种规格的差异、基于xinference launch的完整启动命令与参数含义并结合仓库源码揭示其内置注册信息、引擎虚拟环境依赖、聊天模板与工具调用机制帮助开发者在本地或服务器上快速部署并调用这一医疗领域的高阶推理模型。模型概述面向医疗推理的 o1 式思维链模型HuatuoGPT-o1-Qwen2.5 是 HuatuoGPT-o1 系列中基于 Qwen2.5 架构的医疗大语言模型其设计目标是高级医疗推理advanced medical reasoning模型在给出最终回答之前会先生成一段复杂的思维过程对问题进行反思、修正与精炼从而提升诊断与医学问答的可靠性。该描述在仓库内置注册中亦有明确记录见 llm_family.json 的model_description字段。根据关联文档及内置注册数据该模型的核心参数如下属性值模型名称Model NameHuatuoGPT-o1-Qwen2.5上下文长度Context Length32768支持语言Languagesen英文、zh中文能力Abilitieschat对话、tools工具调用架构ArchitecturesQwen2ForCausalLM模型类型model_typeqwen2其中 32768 的上下文长度、[en, zh]的语言列表以及[chat, tools]的能力标记均可在 llm_family.json 的context_length、model_lang、model_ability字段中找到一一对应的证据。中英双语支持使其既适合面向国内临床场景的中文问诊也能服务于英文医学文献问答。内置注册模型家族在源码中的落地方式Xinference 通过统一的模型家族注册表管理所有内置模型。HuatuoGPT-o1-Qwen2.5 被登记在 xinference/model/llm/llm_family.json 中采用version: 2的家族格式对应源码中的LLMFamilyV2数据模型定义于 xinference/model/llm/llm_family.py。从源码结构看LLMFamilyV2承载了该模型在平台内运行所需的全部元数据model_specs一个模型家族可包含多个规格此处即 7B 与 72B 两个规格每个规格声明model_format、model_size_in_billions以及 Hugging Face / ModelScope 双渠道的model_idchat_templateJinja2 格式的聊天模板决定请求消息如何组装为模型输入stop_token_ids与stop生成终止条件tool_parser工具调用解析器名称virtualenv按引擎声明的依赖包规则供 Xinference 在虚拟环境中按需安装详见后文引擎选择一节。注册表在 Xinference 启动时通过load_model_family_from_json(llm_family.json, BUILTIN_LLM_FAMILIES)载入内存见 xinference/model/llm/init.py。家族结构解析与校验逻辑由LLMFamilyV2/CustomLLMFamilyV2完成仓库测试 test_llm_family.py 中亦包含对家族 JSON 解析的回归验证。模型规格对比7B 与 72B 两个版本HuatuoGPT-o1-Qwen2.5 提供两个参数量规格二者在模型格式、量化方式与可用的推理引擎上保持一致Spec 17BpytorchModel FormatpytorchModel Size70 亿参数7 BillionQuantizationsnone无量化选项EnginesvLLM、Transformers、SGLangModel IDFreedomIntelligence/HuatuoGPT-o1-7BModel HubsHugging Face、ModelScopeSpec 272BpytorchModel FormatpytorchModel Size720 亿参数72 BillionQuantizationsnoneEnginesvLLM、Transformers、SGLangModel IDFreedomIntelligence/HuatuoGPT-o1-72BModel HubsHugging Face、ModelScope两个规格在model_specs数组中分别注册且 Hugging Face 与 ModelScope 使用相同的model_id见 llm_family.json这意味着国内网络环境下可直接优先从 ModelScope 拉取权重海外环境则可用 Hugging Face。量化说明两个规格的quantizations均为[none]即官方不提供现成的量化变体。因此启动时--quantization只能取none。需要更低显存占用时可以考虑结合 Xinference 的 GPU 部署方案自行评估资源72B 全精度模型通常需要多卡或大显存环境但请以实际硬件能力为准。启动模型xinference launch命令详解启动 HuatuoGPT-o1-Qwen2.5 的命令格式如下启动前将${engine}替换为vllm/transformers/sglang三者之一将${quantization}替换为上述规格中列出的量化方式此处即none# 7B 版本 xinference launch --model-engine ${engine} --model-name HuatuoGPT-o1-Qwen2.5 --size-in-billions 7 --model-format pytorch --quantization ${quantization} # 72B 版本 xinference launch --model-engine ${engine} --model-name HuatuoGPT-o1-Qwen2.5 --size-in-billions 72 --model-format pytorch --quantization ${quantization}例如使用 vLLM 引擎启动 7B 版本xinference launch --model-engine vllm --model-name HuatuoGPT-o1-Qwen2.5 --size-in-billions 7 --model-format pytorch --quantization none上述 CLI 参数在 xinference/deploy/cmdline.py 中均有对应定义参数短选项含义本模型的取值--model-name-n模型名称必填HuatuoGPT-o1-Qwen2.5--model-type-t模型类型默认LLM可省略--model-engine-en使用的推理引擎vllm/transformers/sglang--model-uid-u模型实例 UID默认 None自动生成可省略--size-in-billions-s参数量十亿7或72--model-format-f模型格式如pytorch、ggufv2pytorch--quantization-q量化方式none--replica-r模型副本数默认 1可省略--n-worker—模型使用的工作进程数默认 1可省略--n-gpu—GPU 数量auto时自动探测多 worker 时表示每个 worker 的 GPU 数可省略其中--size-in-billions与--model-format是 Xinference 定位内置模型规格、与注册表model_specs做精确匹配的关键字段只有规格完全命中名称 参数量 格式 量化才会从对应渠道下载并启动模型。--model-engine为 LLM 模型必选参数若缺失会直接报错对应 cmdline.py 中的校验逻辑。此外命令还支持--lora-modules格式namepath可多次传入、--replica-config多副本 GPU 放置 JSON 数组等高级参数需要时可按需附加。引擎选择与虚拟环境依赖机制HuatuoGPT-o1-Qwen2.5 支持 vLLM、Transformers、SGLang 三种引擎选择建议如下vLLM面向高吞吐、并发的生产环境是服务化部署的常见选择SGLang同样面向高性能推理在长上下文与结构化输出场景下有优化Transformers依赖最轻、兼容性最好的兜底方案适合调试与小规模验证。三种引擎并非开箱即装。注册表通过virtualenv.packages字段为不同引擎声明了条件依赖见 llm_family.jsonvirtualenv: { packages: [ #transformers_dependencies# ; #engine# \Transformers\, #sglang_dependencies# ; #engine# \sglang\, #vllm_dependencies# ; #engine# \vllm\, #system_numpy# ; #engine# \vllm\ ] }这表明当指定引擎为transformers时仅安装 Transformers 依赖指定sglang时安装 SGLang 依赖指定vllm时安装 vLLM 依赖并额外使用系统 numpy#system_numpy#。Xinference 的虚拟环境管理器见 xinference/core/virtual_env_manager.py会根据这些规则为模型创建隔离的 Python 环境避免不同引擎的依赖相互冲突。首次启动时会自动完成依赖安装与权重下载请耐心等待。聊天模板与工具调用机制HuatuoGPT-o1-Qwen2.5 的chat_template使用 Qwen2.5 风格的 ChatML 模板以|im_start|/|im_end|包裹消息并在工具场景下注入tools/tool_call结构见 llm_family.json。与之配套的注册字段包括tool_parser: qwen由 Xinference 的 Qwen 工具解析器处理函数调用结果stop[|endoftext|, |im_start|, |im_end|]stop_token_ids[151643, 151644, 151645]。这意味着该模型不仅支持普通医疗问答还能通过工具调用能力对接外部医疗知识库、检索接口或结构化数据查询——tools能力配合chat能力使其可被编排进更复杂的医疗 Agent 工作流。需要说明的是虽然o1命名暗示模型具有思维链特性模型会先输出复杂思维过程再给最终答复但在当前仓库的注册数据中该家族的能力标记为chat与tools并未显式配置reasoning能力标签与reasoning_start_tag/reasoning_end_tag。因此它不属于仓库中配置了独立推理内容解析如 DeepSeek-R1 那类think标签提取参见 reasoning_parser.py的模型思维过程会作为普通生成内容输出。若需在流式接口中单独剥离推理过程需结合实际输出格式自行处理。启动后验证与 API 调用模型启动成功后会返回一个分配到的model_uid或使用--model-uid指定的值。之后即可通过 Xinference 暴露的 OpenAI 兼容 RESTful 接口发起对话路由位于 xinference/api/routers/llm.py核心端点为POST /v1/chat/completions。以 7B 实例为例调用示意如下curl -X POST http://localhost:9997/v1/chat/completions \ -H Content-Type: application/json \ -d { model: HuatuoGPT-o1-Qwen2.5, messages: [ {role: system, content: 你是一名专业的内科医生请基于循证医学给出严谨回答。}, {role: user, content: 一名 55 岁男性长期咳嗽伴痰中带血最需要优先排查哪些疾病请列出鉴别诊断思路。} ], max_tokens: 1024, temperature: 0.6 }model字段应填写实际启动时的模型实例 UID。由于模型的model_ability包含tools请求中还可以传入tools数组由模型按tool_parser: qwen约定的格式返回函数调用 JSON实现工具增强的医疗问答。若在分布式环境下部署同一服务端点即可按模型名路由到对应实例具体可参考仓库中的分布式部署说明 distributed_inference.rst。部署注意事项小结资源规划7B 规格全精度部署建议单张 24GB 以上显存72B 规格需多卡或大显存服务器实际占用请结合框架文档与实测评估首次启动耗时会先创建引擎虚拟环境并下载权重务必保持网络畅通国内环境可依赖 ModelScope 渠道量化选择--quantization仅支持none不要传入其他值引擎一致性注册表会按引擎隔离依赖环境切换引擎后首次启动仍需各自的依赖安装流程双语场景模型同时支持中英文医疗场景下中文问诊、英文文献分析均可直接使用。HuatuoGPT-o1-Qwen2.5 是 Xinference 内置模型中面向医疗垂直领域的重要一员。借助本指南中的规格对照、启动命令与参数说明开发者可以在数分钟内完成从下载到服务的全流程部署并通过统一的 OpenAI 兼容接口接入现有医疗应用。【免费下载链接】inferenceSwap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.项目地址: https://gitcode.com/GitHub_Trending/in/inference创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考