第 20 篇大模型推理怎么变成服务零门槛入门系列上一篇第 19 篇《图片怎么进模型》 下一篇第 21 篇《为什么大家都兼容同一个接口》一句话导读大模型推理的服务就是一个不结束的循环——等连接、解析请求、交给引擎、边算边回流式只是把中间结果一片片发出去而不是等全部算完。关键词推理引擎入门、大模型推理、服务、循环、流式、请求、响应一个能算的引擎和一个别人能用的服务之间差的不是算法而是一层薄壳。这层壳做的事非常单调有地方一直等着有人来就问清楚要什么然后把活交给引擎再把结果送回去。这一篇就把这层壳拆开。① 一句话概念服务 一个不结束的循环接单、算、边算边回。② 起点街角的外卖窗口街角有个外卖窗口。它一天的流程其实只有一个动作在重复。有人走到窗口前窗口里的人问一句要什么、要几份客人说完他把单子递进后厨后厨开始做做好了他把东西递出去。然后他回到窗口等下一个客人。这个岗位有三个容易被忽略的特点。第一它永远不关门。不是接待完这一个就下班而是回到起点继续等——所以它天生是一个循环。第二等待的时候它没有在干活。没人的时候他不是在后台炒菜就是站着有人走到窗口前才有下一步动作。第三也是最容易被做错的一点出货不必等全部做完。客人要三份第一份做好了就可以先递出去不必让人干等到第三份出锅。递出去的只算半个订单可对客人来说已经能用了。窗口本身不做菜它只负责问清楚、传进去、递出去——做菜是后厨的事。这一层薄壳就是服务。③ 伪代码一个不结束的接单循环如图 1 所示左边是一个循环四步依次是等待新连接 → 解析请求 → 交给引擎 → 边算边回走到第四步时分出两条支路——要流式时每生成一个词就发一片不要流式时一次发完。图 1服务就是一个循环走完四步后沿虚线回到开头所以它永远不关门顶部两条支路对比要流式与不要流式底部两条提醒谁在算、谁在等要说清和请求解析够用就好。函数 服务循环(引擎): 当 真: 连接 等待新连接() # 没人来就一直等 请求 解析请求(连接) # 要什么、要多少、要不要边算边发 若 请求.要流式: 对每个 新词 于 引擎.生成(请求): 发送一片(新词) # 不等全部算完 发送结束标记() 否则: 发送(引擎.生成(请求)) # 代价: 每个请求 O(生成长度) 次发送串行时一次只服务一个生成流逐行要点当 真:循环没有退出条件这是服务和一次性脚本最大的区别。它只在被要求停下时才停。等待新连接()等的时候它不干正事——至于怎么等阻塞在这里还是隔一阵轮询一次取决于实现有人连上来它才往下走。解析请求(连接)只取你能处理的字段多余的一律忽略第 21 篇会展开。否则客户端多加一个字段你就崩了。若 请求.要流式:这是分岔点。要流式就边算边发——每一次发送只是整个响应的一小片但一小片本身也是合法的传输流结束时还必须补一条明确的结束标记否则客户端分不清还在算和已经完了。不要流式就等全部算完再发一整块。代价那一行串行服务时一个请求没生成完后来的请求只能排在后面。这就是第 14 篇一次服务很多人要解决的问题。④ 纸笔实验必做题目亲手写出 3 条流式响应片段并检查格式。规则只有两条每个事件是一行data: ...后面紧跟一个空行流结束时补一条结束标记。data:后面那对花括号是 JSON 记法——用花括号把键: 值包成一条记录这里只是把算出的那个词装进去不必深究语法。一个参考答案data: {词: 你} data: {词: 好} data: [DONE]自查清单逐条对每条data:后面是否都有一个空行空行才是这一片到此为止的边界两条之间若没有空行客户端会把它们当成同一条解析失败。最后一条是不是结束标记没有它客户端会一直等下去。数一数3 条片段 3 个data:行 3 个空行。这一步要体会的事如果你只看第二条就关掉文件手里拿的是半个响应——而它依然是一段合法的传输。这正是流式能成立的原因响应不是一次性写完的它可以写到一半就发出去。可选 REPL 版片段[data: {词:你},data: {词:好},data: [DONE]]for一条in片段:print(一条)print()# 空行 一个事件的结束运行后你会发现每条消息之间都空了一行——那就是边界。⑤ 进阶锚点进阶锚点本篇概念在《30 天手搓推理引擎》Day 20里被真正实现——20-1 极简 HTTPsocket/bind/select 轮询/20-2 路由与自研最小 JSON/20-3 SSE 流式响应怎么写一半就发给客户端。入门版到这里就够了进阶版会多出服务端的真实源码位置、一份逐事件带时间戳的流式实测记录口径见进阶系列与仓库 docs以及为什么自己写一个最小解析器就够了的取舍讨论。想动手 → 仓库https://gitee.com/pei-xiaoguang/kestrel-llm从 Day 1 开始。下篇预告为什么全世界的模型服务都在兼容同一套接口以及真正决定成败的那件小事——模板。