【免费下载链接】time-to-first-tokenA 10-week, 30-minutes-a-day roadmap for LLM inference serving and optimization. vLLM, SGLang, quantization, speculative decoding, benchmarking.项目地址https://gitcode.com/gh_mirrors/ti/time-to-first-token点击查看免费下载想拥有一个真正能上线的 LLM 推理服务而不是又一篇看完就忘的教程开源项目time-to-first-token用一条10周、每天30分钟的路线图带你把 vLLM 推理服务从 0 部署到 1000 并发压测、量化优化最终发布成一份可复现的基准测试。本文带你完成其中最核心的一步30 分钟内用vLLM上线一个 7-8B 模型并开放OpenAI 兼容 API——这也是整条路线图第 2 周的核心产出。一、为什么选 time-to-first-token 这条路线图大多数人学 LLM 推理服务的方式是跑 17 个互不相关的实验结果 90% 的时间耗在环境搭建上最后什么都没留下。time-to-first-token 反其道而行50 个 30 分钟的 session全部喂养给同一个服务。每完成一步服务就多一层能力阶段你的服务会获得什么Week 1理解 Roofline 模型prefill 等算力decode 等内存带宽Week 2vLLM 上线 OpenAI 兼容 API本文目标Week 3Grafana 仪表盘TTFT、token 间隔延迟、吞吐量、队列深度Week 4SGLang RadixAttention 前缀复用对比Week 51000 并发压测p50/p95/p99 全记录Week 6-7FP8/INT4 量化、投机解码Speculative DecodingWeek 8Kubernetes 部署按队列深度而非 CPU 扩缩容Week 9成本/延迟/质量路由器 单请求 token 预算Week 10发布带锁定版本号和可复现命令的基准测试报告 前提要求很低熟悉 Python、命令行和 Transformer 架构概念即可不需要Kubernetes、CUDA 或推理服务的任何前置经验。完整背景见 README.md 的 Who this is for 一节。二、环境准备一块 24GB GPU 就够了7-8B 模型大约需要一块24GB 显存的 GPURTX 3090/4090、A10 均可。路线图的省钱建议按半小时租用每个 session 结束就关机别挂 24 小时Week 1、Week 3 大部分时间、Week 9 的阅读日根本不需要 GPU把租赁预算集中到动手日全程只有 2 个 session 需要 H100Week 5 千并发压测、Week 8 分离式部署工具安装只有三行命令引自 README.md 的 Setup 章节pip install vllm pip install guidellm pip install sglangWeek 3 的 Prometheus Grafana 监控栈还需要 DockerWeek 8 需要kind或一个小型托管集群。三、30分钟上手用 vLLM 启动你的第一个推理服务这一步对应路线图 Week 2 的周二 build session。核心就是一条启动命令vllm serve Qwen/Qwen2.5-7B-Instruct --port 8000换成meta-llama/Llama-3.1-8B-Instruct同样可以。模型下载完成后终端出现Uvicorn running on http://0.0.0.0:8000即代表服务已就绪。此时你拥有的就是一个OpenAI 兼容端点——把现有代码里 OpenAI SDK 的base_url和api_key换掉就能直接对接你自己的模型。用curl验证第一个请求curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: Qwen/Qwen2.5-7B-Instruct, messages: [{role: user, content: 用一句话介绍你自己}] }收到流式返回的 JSON 回复你的 LLM 推理服务就正式上线了。为什么要保存这条启动命令路线图文风很直白Save the launch command, you reuse it for ten weeks.因为后续所有优化——量化、投机解码、分离式部署——都是在同一条命令上加参数、换 checkpoint 完成的服务本身就是你的学习进度条。四、为什么是 vLLMPagedAttention 一行代码的价值vLLM 之所以成为推理服务首选引擎核心是PagedAttention机制早期系统因碎片化和过度预留浪费60-80%的 KV cache 显存vLLM 用固定大小的页块管理 KV cache把显存浪费压到4% 以下再加上连续批处理Continuous BatchingGPU 不再在请求之间空转路线图第 2 周剩下的 3 个 session 就是让你读 vLLM 源码block table 如何查找、V1 调度器如何工作——直到你能用三句话讲清楚一个请求的 KV 块是如何被定位的。五、接下来的 9 周路线图精华速览每周一张表每天一个 30 分钟 sessionread/build 标签区分读与动手。几个关键节点 Week 3先建眼睛再谈优化Prometheus Grafana 仪表盘跑起来确认 TTFT、token 间隔延迟、吞吐量、队列深度四个面板在真实流量下会动。测量永远先于优化——没有仪表盘的调优不可验证。⚡ Week 5压到 1000 并发用 GuideLLM 扫请求速率、vllm bench serve交叉验证、genai-perf 找吞吐饱和的拐点。路线图提醒两个工具结果不一致是信息不是故障。 Week 6-7量化与投机解码FP8/INT4 变体对比 FP16 基线交付物是质量-吞吐对照表而非单纯加速比。投机解码在低 QPS 下可加速 2.8 倍高 QPS 下反而变慢 1.4-1.8 倍——找到你自己的交叉点才是这周的功课。☸️ Week 8按队列深度扩缩容Kubernetes 上用 vLLM production stack Helm 图表部署自动扩缩容信号选num_requests_waiting而非 CPU——后者是 GPU 服务上最常见的错误。 Week 9成本进入代码用时租 ÷ (峰值 tokens/s × 3600 × 利用率) × 1M这个公式基于 Week 5 的实测吞吐重新推导你这块 GPU 的每百万 token 成本再写一个按成本/延迟/质量选后端的薄路由器。六、怎么追踪进度三种方式项目内置了低成本的进度管理方案详见 README.md Tracking your progress 章节网页版打开 index.html每完成一个 session 打勾进度存在浏览器本地关闭标签页也不丢换设备时用Copy sync link12 字符短码或ExportJSON 文件迁移Issue 模板Fork 后用 progress.md 的模板开一个 issue勾选框状态跟随你的账号跨设备可用直接改 READMEFork 后在你的副本里打勾commit 历史就是进度记录七、项目资料清单文件说明README.md完整 10 周路线图、GPU 选型、论文与工具清单index.html可交互进度页打勾、同步链接、JSON 导入导出progress.mdIssue 进度模板10 周 50 个 session 发布前检查清单assets/banner.png项目封面图prefill/decode 时间轴示意写在最后30 分钟一条vllm serve命令你就拥有了别人只能读文章想象的东西——一个跑得起来的 OpenAI 兼容推理服务。而 time-to-first-token 的野心不止于此它把部署一个服务变成起点用 10 周时间让你走完 Roofline 心智模型 → 压测 → 量化 → 投机解码 → 成本路由的完整链路终点是一份别人能照着复现的基准测试报告。每 30 分钟打一个勾10 周后你交付的不是知识碎片而是一个可展示、可辩护的工程成果。现在就从 Week 2 那条命令开始。赞分享【免费下载链接】time-to-first-tokenA 10-week, 30-minutes-a-day roadmap for LLM inference serving and optimization. vLLM, SGLang, quantization, speculative decoding, benchmarking.项目地址https://gitcode.com/gh_mirrors/ti/time-to-first-token点击查看免费下载相关推荐快速上手EAGLE-LLaMA3.1-Instruct-8B5分钟部署你的第一个加速推理模型快速上手EAGLE LLaMA3.1 Instruct 8B5分钟部署你的第一个加速推理模型 EAGLE LLaMA3.1 Instruct 8B 是一个专为大模型prefill还是decode更慢time-to-first-token 第1周30分钟吃透Roofline模型与算术强度这个LLM推理第一心智模型prefill还是decode更慢time to first token 第1周30分钟吃透Roofline模型与算术强度这个LLM推理第一心智模型 tim无名杀网页版浏览器里的开源三国杀免安装快速上手无名杀网页版浏览器里的开源三国杀免安装快速上手 noname无名杀是一个开源的网页版三国杀实现。你在浏览器里能直接得到的东西包括完整的三国杀流程选将游戏开发上一篇Nushell数据可视化终极指南从表格到图表的10个实用技巧下一篇告别网络依赖lx-music-desktop离线模式全攻略与缓存策略解析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考