第 22 篇推理引擎服务上线之后状态、守护、重启零门槛入门系列上一篇第 21 篇《为什么大家都兼容同一个接口》 下一篇第 23 篇《怎么证明内容没被改过哈希与标准答案》关键词推理引擎入门、大模型推理、守护进程、看门狗、管理面、状态、重载前一篇把服务这层壳立起来了。可只要它真的上线下一个问题立刻出现它会挂。挂掉之后有没有人发现、有没有人把它拉起来、以及你想知道它现在什么状况时去哪里看这一篇讲的是同一件事的两面自动守护和人工管理。① 一句话概念上线之后拼的是它挂了谁发现。② 起点一家店开张之后一家店开张那天最显眼的是收银台——客人排队、钱进钱出。但真正让店能开下去的是收银台之外的三样东西。第一是值班经理。他不上手收银他每隔一阵就走一圈灯还亮着吗后厨还有人吗后厨如果没人了他立刻把班次补上让店继续开。他不关心今天卖了多少他关心现在是活的。第二是监控屏。屏幕上几行字现在开着吗、开了多久、备货还够不够、刚才有没有报过警。这些字不需要漂亮但缺了它们你就只能靠猜。第三是应急流程真出事了按什么顺序处理、找谁。流程的意义是——不靠当班那个人的心情。收银台是业务这三样是运维。业务做得再好没有值班经理一次意外就能让店关一整晚。而且他盯的是这家店的命不是某一个订单判断依据也不只是店里看起来有人而是后厨真的还在出货。③ 伪代码守护循环 管理面如图 1 所示左边是一条守护循环——检查引擎是否活着挂了就拉起然后隔一段时间再查右边是给人看的入口——管理面状态、配置、动作动作指的是触发加载 / 转换 / 重载。图 1守护进程 管理面左侧是守护循环——每 N 秒检查一次引擎进程还活着吗不在了就重启再沿一直守着回到开头右侧是给人看的入口——管理面状态 / 配置 / 动作触发加载、转换、重载它和左边的循环是两条独立的线守护在后台自动跑管理面由你手动调用。函数 守护循环(引擎名, 间隔秒): 当 真: 若 进程不存在(引擎名): # 名字要精确匹配别认错人 启动(引擎名) 每隔 间隔秒 再检查 # 看状态接口不只看进程表 # 管理面人手动调用的入口 读状态() - { 是否在跑, 已运行时长, 缓存占用, 最近错误 } 改配置(项, 值) - { 是否成功, 是否需要重载 } 触发重载() - { 是否成功, 用时 }逐行要点当 真:守护本身是一个死循环跟第 20 篇的服务循环是同一个形状只是它管的不是请求而是另一个程序的命。若 进程不存在(引擎名):这里的判断要精确。“引擎名匹配错一个字就会出现两种坏结果——把别的程序当成引擎守护成了摆设或者永远以为它还活着其实早挂了。拉起来之后也别马上又判一次先等它把启动做完否则会刚拉起就判它不在”、无限重启。每隔 间隔秒 再检查不能只看进程表。进程在、但已经卡住不出货进程表照样显示活着。所以要看状态接口的返回——那才是还能干活的证据。读状态() / 改配置() / 触发重载()这三条是运维的眼睛和手。能不停服改配置就不要停改完要求重载的如实告诉调用方。一个克制的边界自动拉起要有限度。程序反复崩时无脑重启会变成重启风暴连日志都看不清——这类策略属于实现细节。④ 纸笔实验必做题目设计 3 条管理接口——状态、配置、重载。每条写出它需要的请求字段和响应字段各不超过 4 个字段。一个参考答案只写字段名值由实现填① 读状态 请求: 无或一个要不要详细开关 响应: { 是否在跑, 已运行时长, 缓存占用, 最近错误 } ② 改配置 请求: { 配置项, 新值 } 响应: { 是否成功, 是否需要重载 } ③ 触发重载 请求: 无 响应: { 是否成功, 用时 }自查清单三条接口里状态是不是只读的只读接口永远不该有副作用。「改配置」的响应里有没有是否需要重载没有它调用方不知道下一步该做什么。字段数是否都 ≤ 4字段一多接口就难稳定。这一步要体会的事接口设计不是写得越全越好而是恰好够回答一个问题。状态接口回答现在还活着吗配置接口回答我改了没有重载接口回答改完生效了吗。三个问题三张表。可选 REPL 版状态{是否在跑:True,已运行时长:...,缓存占用:...,最近错误:None}配置{配置项:最大长度,新值:...}重载{是否成功:True,用时:...}print(list(状态),list(配置),list(重载))用列表把字段名打印出来逐个核对是否和上面三张表一致。⑤ 进阶锚点进阶锚点本篇概念在《30 天手搓推理引擎》Day 22里被真正实现——22-1 chat.html前端如何消费 SSE/22-2 /admin API状态、配置、加载、转换/22-3 vllm_mgr.py进程守护与看门狗。入门版到这里就够了进阶版会多出守护脚本与管理接口的真实源码位置、一次 admin 状态页的实测返回口径见进阶系列与仓库 docs以及进程名精确匹配这类真实踩坑。想动手 → 仓库https://gitee.com/pei-xiaoguang/kestrel-llm从 Day 1 开始。下篇预告怎么证明一段内容没被改过——从指纹这件小事说起。