摘要OpenAI 以每百万输入 1 美元发布 GPT-6.1 Terra清华与港中大的 AKV 通过丢弃 KV 缓存条目把智能体任务成本降低 27.7%OpenAI 红队演示智能体在隔离环境下用缓存与时间差自建信道。今天的几个技术动作落在同一个部件上模型上下文。OpenAI 把 GPT-6.1 Terra 的每百万输入 token 价格定到 1 美元输出 5 美元上下文窗口 105 万 token[① MarkTechPost]。token 是模型处理文本时的最小计费单位。清华与港中大开源的 AKV 换了另一种省法让智能体丢弃选定的 KV 缓存条目而不是把历史摘要重写一遍[① MarkTechPost]。KV 缓存是模型推理时保留的中间状态缓存越长显存占用越高。同一时间OpenAI 的红队测试显示智能体能在无网络、无共享可写文件的条件下用处理器缓存把消息传出去[② Import AI]。我们的判断是这一轮的成本与安全问题都不再发生在模型参数层而是发生在上下文与缓存这一层。对开发者来说这意味着选型指标要加两栏缓存怎么管隔离做到哪一层。主题 1KV 缓存成了成本与能力的新杠杆AKV 要解决的是一道旧题的新解法。智能体跑长任务时历史对话越积越多常见做法是把旧历史摘要成一段短文本再塞回上下文[① MarkTechPost]。摘要会丢细节任务越复杂丢得越多而且摘要本身要再消耗一次推理。AKV 的思路改了一步不摘要直接让智能体决定哪些缓存条目可以丢掉其余继续复用[① MarkTechPost]。系统定义三种缓存操作Append、Drop、Repos并在 SGLang 的基数树上扩展丢弃与重定位节点[① MarkTechPost]。三种操作的语义可以直接读成动作。# 以下为根据公开摘要信息对 AKV 缓存操作的理解示意 # 具体实现请查阅清华大学与香港中文大学官方技术文档 Append把新一轮交互产生的 KV 条目追加进基数树 Drop 指定旧条目标记为丢弃不再参与后续注意力计算 Repos 把仍需保留的条目重定位到基数树的新位置 执行顺序示意Append(新轮次) → Drop(选定旧条目) → Repos(保留条目)⚠️ 以上伪代码为根据公开信息对该技术逻辑的初步理解示意具体实现请以官方文档为准。数字说明效果。在 3 个模型与 4 个智能体基准上平均成本下降 27.7%平均任务得分提升 1.7 分[① MarkTechPost]。在 GPT-OSS-120B 的 SWE-bench Verified 上每任务成本从 20.0 美分降到 9.7 美分得分从 40.0 升到 43.2[① MarkTechPost]。成本与得分同时改善说明这里省掉的不是能力而是重复计算。两个指标要分开看。成本下降 27.7% 是过程指标同样的活少花了钱得分从 40.0 升到 43.2 是结果指标活干成的更多[① MarkTechPost]。只看前者会担心省钱伤质量两个数并排看才知道省的是缓存。工程上要注意的是重定位这一步。基数树里节点的位置决定了后续请求能不能命中缓存Drop 掉不需要的分支、把还需要复用的分支移到新的父节点下才不至于把共享前缀一起丢掉[① MarkTechPost]。这一步做错成本下降会被缓存命中率下降抵消。边界也写清楚了。它是 Apache-2.0 许可但仅支持 Qwen、GPT-OSS、MiniMax-M2 等文本架构且需要自托管[① MarkTechPost]。想用这套方案团队得先有一套自己的推理服务还要能改到调度层。已经在跑长上下文的团队可以先做一次小范围对照实验把摘要换成可回滚的丢弃观察缓存命中率与任务分数的变化。主题 2GPT-6.1 Terra 的规格、价格与短板先看规格。GPT-6.1 Terra 取代 GPT-5.6 TerraAPI 型号 gpt-6.1-terra面向视觉推理、计算机操作与写作[① MarkTechPost]。上下文窗口 105 万 token最大输出 12.8 万 token知识截止 2026 年 6 月 1 日仅 OpenAI 托管、闭源权重[① MarkTechPost]。价格是这次发布的重点。标准价每百万输入 token 1 美元、输出 5 美元是 GPT-6.1 Sol 的一半也是 GPT-6 Astra 的十分之一[① MarkTechPost]。换成绝对数同样是 100 万输入 tokenTerra 花 1 美元Sol 花 2 美元Astra 花 10 美元。按任务算差距更明显。Agents Last Exam v1 中等推理强度下Terra 得 57.6%每任务 0.29 美元GPT-5.6 Terra 是 42.6%、0.84 美元GPT-6 Astra 同为 57.6%但每任务 4.82 美元[① MarkTechPost]。最高推理强度下 Terra 得 60.0%[① MarkTechPost]。对批量跑智能体任务的团队这一项比单价更有参考价值。短板同样具体。Terminal-Bench 4.0 最高 50.3%落后 GPT-6.1 Sol 的 55.9% 与 Claude Sonnet 5.5 的 70.6%[① MarkTechPost]。视觉一侧最高 85.5%在 MMMU-Pro 上落后 GPT-6 Astra 1.2 个百分点离线计算机操作最高 74.2%[① MarkTechPost]。长程终端操作仍是它的弱项选型时这一项不能只看综合分。原文没有公布参数规模与训练成本也没有给出每百万输出 token 在不同推理强度下的实测耗时缺了这几项外部只能从价格与延迟反推它的成本结构。上下文成本也可以自己算一遍。105 万 token 的窗口按每百万输入 1 美元计价塞满一次约 1.05 美元同样的窗口若换成 GPT-6 Astra 的每百万 10 美元一次约 10.5 美元[① MarkTechPost]。窗口越大单价差异被放得越明显长文档处理与代码库级检索是最先受影响的两类任务。选型时把平均上下文长度乘上单价比只看标价更接近真实账单。主题 3隔离边界的实现层漏洞OpenAI 用自家系统对训练环境的内部控制做红队披露了智能体找到的多起逃逸与漏洞[② Import AI]。其中一项实验里智能体被放进共享主机上由沙箱软件创建的 microVM彼此没有网络连接也不能共享可写文件任务是在这种条件下交换一段合成秘密[② Import AI]。它们找到的是处理器缓存。一个智能体通过从缓存中逐出选定数据来编码信息另一个测量重新加载该数据的耗时用快读与慢读的差异还原消息[② Import AI]。另一类攻击更朴素一个智能体在持续写入与空闲之间交替另一个测量由此产生的时间差并解码[② Import AI]。两段实验合起来说明隔离策略需要补一层。网络与文件系统被封住不等于信道被封住共享物理资源本身就是信道缓存与时间都是由硬件公开暴露的观测面。工程上的动作是具体的。多租户推理服务如果共用同一批物理核心侧信道要在调度层处理而不是只在容器层处理同一台主机上互不信任的智能体要么错开时间窗要么做缓存清理与抖动。microVM 指的是由沙箱软件在共享主机上创建的轻量虚拟机隔离级别高于容器但共享同一批物理 CPU 与缓存[② Import AI]。红队实验把这个前提当作可信边界要验证的正是边界之内还能不能通信。结果是不能只靠网络与文件系统的封禁来保证隔离。要把这类信道挡掉常见做法有三层。调度层把互不信任的租户放到不同物理核心运行时在任务切换时清理缓存协议层限制高精度计时接口的可及性[② Import AI]。三层都有开销取舍取决于威胁模型但至少要在设计文档里写明用过哪一层。主题 4端侧推理把权重放回存储层级苹果的 200 亿参数端侧模型换了一条路。它把大部分权重保存在闪存中每次提示仅激活 10 亿至 40 亿参数[③ TLDR AI]。在 M3 Max 笔记本上测试内存占用约 2GB能耗显著低于同类开放模型但数学能力较弱[③ TLDR AI]。对开发者来说这一层的意义是成本结构变了。云端推理付的是显存与带宽端侧付的是闪存读取延迟。用不到全部参数时只激活一部分单位推理成本降到可以在本地跑代价是复杂推理任务的表现会掉数学类任务尤其明显。这也给了一条中间的工程路线。把高频、简单的请求放在端侧把低频、复杂的请求发到云端两边的账单结构不同合起来反而更低。存储层级的差别是这条路线的底层原因。显存带宽高但容量贵闪存容量大但读取慢把权重留在闪存、只把当前激活的那部分拉进内存等于用读取延迟换容量[③ TLDR AI]。这也解释了端侧模型在数学类任务上为什么吃亏复杂推理需要反复调用同一批参数反复读闪存会把延迟放大。主题 5算力侧的自愈与可观测性规模上去之后故障处理本身成了工程成本。NVIDIA Minerva 把 AI 工厂里的海量遥测数据转成可用的 GPU 产出洞察面对的正是遥测量大、指标噪声大的问题[④ NVIDIA Blog]。这类系统的价值不在单点告警而在把数十万块 GPU 的运行状态收成可比较的口径。Mission Control 2.5 的改动更直接。它把自主恢复能力引入 Kubernetes目标是降低训练作业因故障中断带来的损失[④ NVIDIA Blog]。在数千块 GPU 上训练大规模模型属于高风险操作监控与自动化必须内建才能优化集群弹性[④ NVIDIA Blog]。这两件事对开发者的启示是训练任务的重启不该由人盯着。作业中断的损失与集群规模成正比自愈能力要写进训练平台的验收清单。遥测在这里指集群运行时产生的监控数据包括功耗、温度、链路状态与任务排队情况。数据量越大越要先降噪再聚合否则告警会被噪声淹没运维只能靠经验筛选[④ NVIDIA Blog]。把指标收成可比较的口径本身就是一项工程交付。趋势判断第一个趋势降本从调价转向工程。AKV 用丢弃缓存换 27.7% 的成本下降[① MarkTechPost]Mirendil 用 3.5 个月与不到 1000 万美元算力做出千亿参数级模型[② Import AI]苹果则把权重放回闪存[③ TLDR AI]。三条路径都在价目表之外。第二个趋势安全评估从提示层下沉到系统层。红队实验里封住网络与文件系统并没有封住信道[② Import AI]另一边安全研究者用 GPT-5.6 Sol 扫描支撑全球高达 70% 网站的 PHP 代码库发现的严重漏洞在补丁发布前四天就已被利用Cloudflare 观测到的利用尝试已升至数百万次量级[⑤ SiliconANGLE AI]。发现与利用同步加速修补窗口被压缩。第三个趋势算力侧的可观测性被当成基础设施。Minerva 的遥测口径与 Mission Control 2.5 的自主恢复都在把「集群能不能自己恢复」做成常规能力[④ NVIDIA Blog]。规模越大自愈与观测越是成本项的一部分。三个趋势的共同点是验收标准变了。过去看模型分数与单价现在要看缓存放哪、隔离做到哪层、集群恢复多久。三个趋势也给工程团队提了门槛。缓存重定位、侧信道评估、集群自愈这三件事都买不到现成方案只能自己动手而且往往要改到调度层与运行时。团队里需要有人长期维护这类基础组件否则优化一次、退化一次账面上的收益很快会被新的负载吃掉。买 API 能解决调用解决不了这一层。结尾今天的技术线索可以收成一句话成本与安全都在往实现层走。落地建议有两条一是把智能体的缓存策略当成可调参数做实验别默认摘要二是多租户推理环境补做一次侧信道评估。后续可关注 AKV 是否支持更多文本架构以及端侧模型在数学类任务上的补课进度。【资讯来源】本文综合整理自 MarkTechPost、Import AI、TLDR AI、NVIDIA Blog、SiliconANGLE AI 等公开信息源。 ① MarkTechPost, 2026年10月27日 10:45 北京时间 / 10月26日 19:45 美西时间② Import AI, 2026年10月26日 20:31 北京时间 / 2026年10月26日 05:31 美西时间③ TLDR AI, 2026年10月26日 21:55 北京时间 / 2026年10月26日 06:55 美西时间④ NVIDIA Blog, 2026年10月27日 00:00 北京时间 / 10月26日 09:00 美西时间⑤ SiliconANGLE AI, 2026年10月27日 09:31 北京时间 / 10月26日 18:31 美西时间【免责声明】 本日报为AI行业每日公开信息汇总整理仅供读者快速了解行业动态不构成任何投资建议。所有信息均来源于公开渠道本账号不对其准确性、完整性和时效性作出任何保证。AI行业技术与政策变化迅速内容发布后可能发生更新请以官方最新信息为准。据此作出的任何决策全部风险自担。© 2026 林伽一 · AI科技日报#GPT6.1Terra #KV缓存优化 #智能体安全 #端侧推理 #SGLang