DeepResearchAgent 本地部署指南:用 vLLM 从零跑通 Qwen 的 5 个步骤
DeepResearchAgent 本地部署指南用 vLLM 从零跑通 Qwen 的 5 个步骤【免费下载链接】DeepResearchAgentDeepResearchAgent is a hierarchical multi-agent system designed not only for deep research tasks but also for general-purpose task solving. The framework leverages a top-level planning agent to coordinate multiple specialized lower-level agents, enabling automated task decomposition and efficient execution across diverse and complex domains.项目地址: https://gitcode.com/GitHub_Trending/de/DeepResearchAgentDeepResearchAgent 本地部署说白了就是让这套分层多智能体系统跑在你自己的 GPU 上而不是每次去请求云端 API。它由一个顶层 planning agent 负责拆解任务再调度一批专用子智能体去执行深度研究、代码、浏览器等操作。跟着这篇教程你会用 vLLM 在本地起一个 Qwen 服务并把整套 agent 接上去最终离线、免计费地跑通一个真实任务。 为什么值得在本地跑 DeepResearchAgent用本地模型接这套框架主要解决四件事也正是它适合的场景数据不出机研究材料、内部文档都留在本地适合对隐私敏感的分析任务。长期成本更低跑通后不再按 token 付费反复迭代研究不再烧 API 账单。可离线没有外网也能跑适合内网或弱网环境。参数可控显存、并发、上下文长度都能自己调匹配你手头的显卡。下面的架构图能帮你先建立整体认知一个上层规划者向下挂载检索、分析、执行等子智能体。 部署前的硬件与软件准备清单先看你要准备什么心里有数再动手。Python 版本项目锁定 3.11建议直接用 conda 建一个 3.11 的独立环境。显存参考Qwen 7B 约需 16GB 左右14B 约 24GB32B 建议多卡或量化。显卡显存不够就先选小一点。依赖清单requirements.txt是标准依赖列表environment.yml是一份可直接复现的完整环境。模型文件提前把 Qwen 权重下到本地磁盘记下路径启动 vLLM 时要用。把仓库拉到本地作为后续所有命令的工作目录git clone https://gitcode.com/GitHub_Trending/de/DeepResearchAgent.git cd DeepResearchAgent 快速上手从装依赖到跑通最小 agent这是最短的跑通路径每个小标题就是一个动作。第一步装依赖。建 3.11 环境并安装依赖装完你的环境就能识别项目里的模块。conda create -n dra python3.11 -y conda activate dra pip install -r requirements.txt # 标准依赖也可改用 conda env create -f environment.yml pip install vllm # 本地推理服务单独装第二步配.env。项目提供了模板复制一份再改避免每次都手写。cp .env.template .env打开.env把 OpenAI 后端指向你的本地 vLLM客户端实际读的就是这两个变量OPENAI_API_BASEhttp://localhost:8000/v1 # 指向本地 vLLM 的 OpenAI 兼容接口 OPENAI_API_KEYlocal-dev-key # 本地服务不校验占位即可第三步起 vLLM。起服务前确认显卡空闲--served-model-name要和框架发给后端的模型标识对上否则请求会 404。python -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen2.5-7B-Instruct \ --served-model-name gpt-4o \ # 与框架 openai/gpt-4o 的 model_id 对齐 --host 0.0.0.0 --port 8000 \ --tensor-parallel-size 1 \ --max-model-len 8192 \ --gpu-memory-utilization 0.9第四步跑最小 agent。用仓库自带示例启动一个 tool-calling agent并通过--cfg-options把它接到本地模型。python examples/run_tool_calling_agent.py \ --config configs/tool_calling_agent.py \ --cfg-options model_nameopenai/gpt-4o # 路由到上面指向本地 vLLM 的模型日志滚到✅ ... initialized并正常执行任务说明整条链路已打通。⚙️ 进阶配置vLLM 关键参数逐个说跑通后这些参数决定性能与稳定性按你机器情况调即可。--tensor-parallel-size张量并行卡数单卡填 1多卡按数量填用来分摊大模型。--max-num-seqs最大并发序列数并发研究任务多时可调高如 16。--max-model-len上下文长度上限深度研究读长文时适当调大。--gpu-memory-utilization显存占用比例OOM 就往下调默认 0.9。--enable-auto-tool-choice/--tool-call-parser开启并选择工具调用解析器如 hermes让 agent 能真正调用工具。框架侧只改一个入口用--cfg-options model_name...覆盖配置里的主模型把请求导向本地 vLLM。注意个别子工具如 deep_researcher可能单独写了云端模型名若要完全本地化需要给它们配好对应 key或临时只启用 bash、python_interpreter、todo 这类本地工具。 验证与监控确认服务真的生效别只信没报错用两条命令确认服务在线、资源正常。curl http://localhost:8000/v1/models # 应返回包含 gpt-4o 的模型列表 nvidia-smi # 查看显存占用与 GPU 利用率/v1/models能列出你设的模型名说明 OpenAI 兼容接口已就绪。运行 agent 时产物与日志会落在workdir/下打开对应的agent.log可以看到每一步的调用与 token 用量方便你判断是否真的走的是本地模型。️ 常见问题三类故障的排查思路症状一连不上报 APIConnectionError。原因vLLM 还没起来或OPENAI_API_BASE写错、端口不一致。 解法先curl http://localhost:8000/v1/models探活确认地址带/v1且端口就是 8000。症状二404提示找不到模型。原因--served-model-name和框架发出的模型标识对不上。 解法把--served-model-name设为gpt-4o并让model_nameopenai/gpt-4o两端保持一致。症状三GPU OOM 直接崩。原因模型太大或显存占比过高。 解法换更小规格的 Qwen、调低--gpu-memory-utilization或多卡加大--tensor-parallel-size。若日志里出现本地模型不认识的字段如个别推理参数说明该 vLLM 版本对某些 OpenAI 参数支持有限以 vLLM 日志里报出的具体字段为准升级到较新版本通常能解决。 收尾从本地 Qwen 到你的第一个研究任务本地部署的尽头不是服务起来了而是任务跑完了。现在你就已经拥有了一条离线、可控的 DeepResearchAgent 本地部署链路——挑一个你手头的小研究问题替换示例里的 task让本地 Qwen 替你跑一遍检索与总结吧。【免费下载链接】DeepResearchAgentDeepResearchAgent is a hierarchical multi-agent system designed not only for deep research tasks but also for general-purpose task solving. The framework leverages a top-level planning agent to coordinate multiple specialized lower-level agents, enabling automated task decomposition and efficient execution across diverse and complex domains.项目地址: https://gitcode.com/GitHub_Trending/de/DeepResearchAgent创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考