webclaw的9步LLM优化流水线全解从原始HTML到token最小化的工程细节【免费下载链接】webclawFast, local-first web content extraction for LLMs. Scrape, crawl, extract structured data — all from Rust. CLI, REST API, and MCP server.项目地址: https://gitcode.com/gh_mirrors/web/webclaw你有没有想过一个动辄几百 KB、塞满脚本与广告的网页是怎么变成 LLM 能直接读懂、token 又干净又少的内容的webclaw 是一个用 Rust 编写、本地优先local-first的网页内容提取工具。它把原始 HTML 经过一套9 步 LLM 优化流水线逐层剥离噪声、最小化 token最终输出给 AI 智能体Agent和 RAG 管道直接消费的高信息密度文本。这篇文章带你拆解每一步的工程细节。 一句话概括信息密度最大化token 占用最小化。下面每一步都是为这两个目标服务的。先看懂流水线的整体结构webclaw 的 LLM 优化入口是 to_llm_text 函数它把一份提取结果加工成三段式输出段落内容作用元数据头前缀的 URL、标题、摘要等让模型知道这是哪个页面清洗正文去图、去粗斜体、链接纯文本化主体内容最高信息密度链接区去重后的## Links列表统一收纳正文保持干净可选结构化数据JSON-LD / Schema.org 记录预算内的类型化信息下图是 webclaw 在实际抓取一个页面时的界面演示左侧输入 URL、右侧输出干净的提取结果——这套输出正是 9 步流水线的产物 在 API 中把formats指定为llm就会触发这条流水线见 README.md 的 Output Formats 说明。9 步流水线全解下面按执行顺序逐步拆解每一步都对应真实的源码模块。第 1 步生成紧凑的元数据头处理任何正文之前先把页面的身份证打包成几行前缀的文本URL、标题、摘要、作者、发布时间、语言、字数。关键细节是只输出有值的字段——空的 URL、零字数一律跳过一个 token 都不浪费。这是 token 最小化的第一道闸门。 源码crates/webclaw-core/src/llm/metadata.rs第 2 步字符级深度清洗网页文本里藏着一堆隐形垃圾这一步在字符层面把它们清干净解码泄漏的 HTML 实体nbsp;、amp;、#123;等双重编码实体还原成真实字符剥离不可见 Unicode零宽空格、连接符、软连字符——它们常被网站用来做防复制保护对 LLM 纯属噪声。 源码crates/webclaw-core/src/llm/cleanup.rs第 3 步剔除泄漏脚本与视觉伪影前端框架如 Next.js的水合代码、屏幕阅读器提示、CSS 动画残留都容易被误当成正文去掉泄漏的 JS识别self.__wrap_n这类框架水合片段并切除去掉无障碍链接提示, opens new tab、(external link)这类给读屏器的文字合并被拉开的文字CSS 字距动画会把 Start 渲染成 S t a r t这里还原回来去掉 CSS 伪影keyframes、内联 CSS 块等。 源码crates/webclaw-core/src/llm/cleanup.rs第 4 步图片的智能处理对 LLM 来说图片 URL 本身几乎没有信息量这一步决定留文字、去 URL链接图片转普通链接alt→alt合并连续 Logo 条合作伙伴 Logo 墙塌缩成一行逗号分隔的名称剥离行内图片只保留超过 30 字符的描述性 alt 文字去掉裸图片引用整行只有hero.webp或一个图片 URL 的直接删除。 源码crates/webclaw-core/src/llm/images.rs第 5 步去掉强调标记与 UI 控件噪声视觉强调加粗、斜体和界面控件文字对模型理解内容没有贡献去粗斜体**加粗**、*斜体*→ 纯文本代码块内原样保留避免误伤去 UI 控件文字Material Icons 连字、导航箭头、Next / Prev 分页词去 alt 噪声损坏图片引用、超长描述性图片说明、社交头像等塌缩长词表把冗长的贡献者名单、API 词表压缩。 源码crates/webclaw-core/src/llm/cleanup.rs第 6 步链接后置 去重 噪声过滤正文里的链接既打断阅读、又重复占用 token这一步把它们抽出来把所有行内文本替换成纯文本同时收集链接用 href去重同一个 URL 只留一次噪声链接过滤next、reply、1 hour ago、评论锚点等低价值链接直接丢弃最终链接统一放进正文末尾的## Links区正文恢复干净。 源码crates/webclaw-core/src/llm/links.rs第 7 步多层去重对付轮播 / 动画复制响应式网站常常把同一段内容复制多份用于轮播、滑动、动画这一步用指纹把它们去重行内重复短语Read more Read more→Read more标题与段落去重正文段落与标题重复时合并跨文档重复标题相距很远的相同标题连同其内容只保留一份内容块 / 行级去重基于前 10 词前缀指纹识别近重复专杀轮播复制逗号列表去重a, b, c, a, b, c→a, b, c。 源码crates/webclaw-core/src/llm/body.rs第 8 步结构性清理处理空壳结构让文档骨架更紧凑删空标题 / 噪声标题Footer、Header、Navigation这类结构词标题直接去掉删空代码块围栏里什么都没有的移除合并孤立统计行把100M和它下面的monthly requests handled合并成一句塌缩空白段间最多留一个空行去 CMS 资产标签与装饰性 CSS 类文本text-4xl font-bold tracking-tight这类纯样式词移除。 源码crates/webclaw-core/src/llm/body.rs、crates/webclaw-core/src/llm/cleanup.rs第 9 步结构化数据过滤 预算控制最后一道闸门页面里的__NEXT_DATA__、JSON-LD、SvelteKit 数据可能膨胀到几百 KB直接灌给 LLM 会被噪声淹没。最后一步用双保险把关按type筛选保留 Article、Product、Recipe、FAQPage 等有意义的内容类型丢弃WebSite/WebPage等框架导航壳以及超大水合数据块递归清洗重复字段递归删除与正文重复的articleBody、超长body/text/description16KB 预算序列化后的结构化数据若超过 16KB整个## Structured Data段直接不输出。 源码crates/webclaw-core/src/llm/mod.rsLLM 最终看到的输出经过 9 步之后模型收到的就是这份三段式、高信噪比的文本 URL: https://example.com/article Title: 一篇文章 Language: en Word count: 42 # 正文标题 干净的正文没有图片 URL没有粗斜体链接已移除…… ## Links - 文档: https://docs.example.com如果页面带有类型化的结构化数据且未超预算还会追加一个## Structured Data段落。小结为什么值得学这套设计webclaw 的 9 步 LLM 优化流水线本质是一套**逐层降噪 预算兜底**的工程范式从字符到结构层层收敛先字符级实体、不可见字符再片段级脚本、图片、强调最后结构级标题、代码块、重复块一切为了信息密度每一删一留都服务于每个 token 都要有用️用预算防失控16KB 结构化数据上限 递归深度上限保证输出永远不会爆炸。理解这套流水线不仅能帮你更好地使用 webclaw 处理网页内容提取也为你自己设计面向 LLM 的文本管道提供了可复用的思路。想深入每一步的实现可直接打开 crates/webclaw-core/src/llm/ 目录mod.rs、body.rs、cleanup.rs、images.rs、links.rs、metadata.rs六个文件即为这条流水线的全部核心。【免费下载链接】webclawFast, local-first web content extraction for LLMs. Scrape, crawl, extract structured data — all from Rust. CLI, REST API, and MCP server.项目地址: https://gitcode.com/gh_mirrors/web/webclaw创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考