省钱又提速OmniBot Prompt Cache提示词缓存命中机制深度剖析【免费下载链接】OmniBotYour on-phone / mobile AI Agent / Claw, capable of operating terminals and performing a wide range of tasks in the Android world || 你的手机 AI 代理她可以操作终端也可以完成 Android 世界的广泛任务项目地址: https://gitcode.com/gh_mirrors/op/OmniBotOmniBot 是一款跑在安卓手机上的 AI Agent既能操作终端也能完成 Android 世界的广泛任务。它内置的 Prompt Cache提示词缓存命中机制让每一轮对话里重复的上下文免费复用在省钱的同时显著提升首响应速度。本文带你搞懂它是怎么工作的。为什么 Agent 每发一条消息都要重新读全文和普通聊天不同OmniBot 这类 Agent 每轮请求都会携带很长的前缀系统提示词、工具定义一次可能多达 58 个、历史消息、记忆与技能索引等单条请求轻松突破 10 万字节。如果服务商对重复前缀不做缓存每轮都要全量计费、全量推理既贵又慢。而只要请求前缀与上一次保持一致服务商就能返回cached_tokens缓存命中 token 数这部分通常大幅降价甚至免费响应也更快。OmniBot 的 Prompt Cache 机制就是为了让这个命中尽可能稳定发生。命中机制拆解三步设计第 1 步为每段对话生成稳定缓存键核心实现是 PromptCacheKeyStore.kt它按安装范围 会话 ID拼出一个匿名稳定键omnibot:v1:20位随机十六进制安装范围:conversation:conversationId稳定同一会话内键在整段生命周期不变缓存才能持续命中隔离20 位随机安装范围由 UUID 派生并持久化避免两台手机上恰好都叫会话 1的用户被路由到同一个缓存命名空间隐私友好键里不含账号、设备、提示词或 API 密钥等任何敏感数据且长度被控制在 64 字符以内兼容网关的标识符长度限制。第 2 步每次请求自动携带缓存键用户消息进入执行器时OmniAgentExecutor.kt 的processUserMessage会调用PromptCacheKeyStore.forConversation生成键并作为 OpenAI 扩展字段prompt_cache_key随请求发出。响应中的cached_tokens则用于用量归属与统计。第 3 步兼容性保护只发给认这个字段的接口并非所有 Chat Completions 网关都接受prompt_cache_key——曾有服务商直接返回400: 未知请求字段。OmniBot 的策略是官方 OpenAI 接口默认保留该字段其他第三方 / 本地接口发送前自动移除顶层prompt_cache_key避免请求整体失败本地仍保留身份标识用于用量归属不改消息、不改密钥、不加重试。相关修复记录见 prompt-cache-key-compatibility-2026-09-06.md请求出口的过滤逻辑位于 HttpController.kt。实测数据命中率达到 99.8%开发团队在同一台手机、同一接口、同一模型下用固定约 13k token 前缀做了顺序对照实验完整记录见 prompt-cache-hit-verification-2026-09-07.md请求prompt tokenscached tokens命中率响应头耗时无键 11295900%8.4s有键 11295912928≈99.8%1.9s无键 21295200%3.4s有键 21295912928≈99.8%10.9s结论很清晰携带稳定缓存键时前缀几乎全部命中缺省时该接口不命中。而带键首次命中时响应头耗时从 8.4s 降到 1.9s——提速效果肉眼可见。⚠️ 诚实的工程注记高命中并不意味着必然快。同一轮测试中带键命中 99.8% 仍出现过 10.9s 等待另一台设备在 cached 10368/10447 时仍等待约 16s。缓存修复解决的是前缀重算的成本网关排队、模型推理等其他上游延迟需要单独排查见 chat-start-latency-2026-09-07.md。用户如何用好缓存保持会话连续同一会话连续追问前缀天然稳定命中最稳避免频繁改系统提示与工具集中途修改会打断前缀缓存前缀作废、重新全量计费技能按需展开OmniBot 采用渐进披露设计技能正文通过工具结果按需加载而不是塞进头部消息——这正是为了不破坏整段会话前缀实现见 OmniAgentExecutor.kt 注释说明模型配置保持稳定更换模型或接口会进入新的缓存命名空间首轮必然未命中。OmniBot 生成 AI 图片等创作类任务同样受益于稳定的长前缀缓存命中让连续创作更省更顺关键代码与文档索引内容路径缓存键生成器baselib/src/main/java/cn/com/omnimind/baselib/llm/PromptCacheKeyStore.kt缓存键单元测试baselib/src/test/java/cn/com/omnimind/baselib/llm/PromptCacheKeyStoreTest.kt请求出口与字段过滤assists/src/main/java/cn/com/omnimind/assists/controller/http/HttpController.kt命中实验记录docs/prompt-cache-hit-verification-2026-09-07.md兼容性修复记录docs/prompt-cache-key-compatibility-2026-09-06.md启动延迟调查docs/chat-start-latency-2026-09-07.md一句话总结OmniBot 用匿名稳定键 请求级字段 兼容性过滤三层设计把提示词缓存命中率稳定在 99% 以上让手机上的 AI Agent 既省钱又更快——而它对命中不等于必然低延迟的坦诚测量也值得每个做 Agent 的同学参考。【免费下载链接】OmniBotYour on-phone / mobile AI Agent / Claw, capable of operating terminals and performing a wide range of tasks in the Android world || 你的手机 AI 代理她可以操作终端也可以完成 Android 世界的广泛任务项目地址: https://gitcode.com/gh_mirrors/op/OmniBot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考