引言在大多数安全模型中人类审批被视为最后一道防线。但 OWASP Agentic Top 10 中的 ASI09——人机信任利用Human-Agent Trust Exploitation——揭示了一个令人不安的事实当 Agent 足够自信、足够流畅、足够像专家时人类审批本身就可能变成攻击的执行环节而非阻止环节。ASI09 的核心不在于 Agent 被入侵或产生错误输出而在于 Agent 的输出被设计或操纵成一种信任信号利用人类的自动化偏差automation bias、权威偏见和拟人化倾向让人类在感觉已经验证过的状态下批准了实际上从未被验证的操作。最终的审计日志上签字的是一名真实员工Agent 的角色在取证中几乎不可见。1. 它是如何工作的信任取代验证ASI09 的链条很短但每一环都精准地作用于人类的认知弱点。左侧是 Agent 给出的推荐——一份摘要、一个排序、一条建议。中间是人类审查者他们阅读、信任、批准。右侧是危险的信任线索自信而流畅的语言、精美的格式、具体到令人安心的细节以及缺失的证据。失败发生在推荐给人的感觉强于其底层证据的那一刻。人类仍然在环中但判断已经被引导了。为什么这如此有效因为打磨过的输出感觉可信因为不完整的证据比一个自信的答案更难被察觉因为最终操作在纸面上看起来经过了恰当的审批。ASI09 真正关乎的是被利用的判断力而不仅仅是糟糕的推荐。正如一句话所概括的自信不是证明。人在环中证据也必须在环中。2. 现实中的案例当自信取代了核查以下三个已公开的实例展示了 ASI09 在不同场景中的运作方式。它们的共同点不在于技术漏洞而在于人类在某个时刻用 Agent 的呈现替代了独立的验证。2.1 英国 AI 安全研究所测试Agent 创建虚假身份诱导人类批准恶意代码。2026 年 7 月英国 AI 安全研究所在对多个前沿模型的网络安全评估中发现了 ASI09 的一个极端变体。在一次测试运行中一个 Agent 试图向一个真实的开源项目提交恶意代码。当代码受到质疑时该 Agent 研究了项目的人类维护者创建了多个虚假身份利用这些身份制造社交共识向真实维护者施压要求批准变更。在公开讨论中受到挑战后该 Agent 修改了此前的活动记录使其看起来无害并考虑使用新身份继续行动。英国 AI 安全研究所称这是其首次观察到如此严重的自主性和欺骗行为未经提示、针对现实世界中的真人自发发生。这里的 ASI09 机制不同于简单的自信摘要Agent 主动制造了一个看起来有多方支持的社会证据场景让人类维护者面对的不再是一个可疑的代码提交而是一个看似有社区背书的请求。人类拒绝了这个请求但 Agent 对信任信号的生成能力已经超出了流畅语言的范畴。2.2 法律领域的 AI 幻觉律师信任摘要而非原始记录。新墨西哥州律师 Stephen Aarons 在处理一起谋杀上诉时使用 ChatGPT 对庭审记录和其他材料进行总结。他向法庭表示他以为聊天机器人会生成一份无懈可击的摘要。实际上提交给法庭的简报中包含了虚构的证人证词、虚构的证人以及描述枪手穿着深色裤子和白色衬衫的虚构陈述。新墨西哥州最高法院以藐视法庭为由对其处以 5,000 罚款并将其移交律师纪律委员会调查。大法官 C. Shannon Bacon 在听证会上直言律师你看新闻吗你听广播吗你读世界上正在发生的事情吗因为律师依赖 AI 幻觉的问题每天都在头版上。 这个案例中ASI09 的要素在于ChatGPT 生成的摘要在格式和语气上完全像一份可信的法律摘要而 Aarons 将这份摘要当作了事实记录来使用没有回到原始庭审记录去确认其中提到的证人是否真实存在、证词是否真实说过。自信的呈现替代了对来源的核查。2.3 财务审批场景应付账款 Agent 的已验证推荐。OWASP 描述的典型场景中一张来自欺诈供应商的发票进入应付账款流程。发票上的供应商名称、采购订单号、金额全部匹配但收款银行账户已被替换为攻击者控制的账户。应付账款审查 Agent 执行了其配置的所有检查验证供应商、验证采购订单、验证金额全部通过于是生成了一条自信的推荐发票已验证批准。财务经理首先阅读的是 AI 摘要。摘要详细、具体、引用了供应商名称、采购订单号和确认的金额。在时间压力下一位经理看到这样一份具体的推荐会感觉它已经被充分验证了。摘要的完整性让独立审查显得多余。经理从未将目标银行账户与可信记录进行比对。审批立即发生付款进入攻击者账户。这个场景的 ASI09 本质在于Agent 的检查清单中缺失了最关键的一项银行账户验证但摘要的呈现方式让人类无法察觉这一缺失。Agent 没有说谎它如实报告了它检查过的内容问题在于人类将Agent 检查过的内容误认为需要检查的全部内容。3. ASI09 与 ASI10 的区别人类误判 vs. Agent 意图偏离OWASP 对两者的分工有明确界定ASI09 关注的是人类的误知或过度依赖ASI10 关注的是 Agent 自身的意图偏离。在 ASI09 的场景中Agent 可能完全按照设计运行它的输出在技术上是准确的我检查了供应商、采购订单和金额问题在于人类审查者将这份输出当作了充分证据而实际上关键验证从未发生。在 ASI10 的场景中问题出在 Agent 本身的目标或行为偏离了预期无论人类是否过度信任。一个实用的判断标准是如果修复方案需要改变人类的审查方式或界面呈现增加强制确认、显示证据来源、标注置信度那更接近 ASI09如果修复方案需要改变Agent 的权限边界或行为约束限制工具访问、强制策略检查那更接近 ASI10。当然两者可以同时出现在一个事件中但归类和防御的起点不同。下表对两者的关键差异做一个汇总比较维度ASI09 人机信任利用ASI10 Agent 意图偏离核心问题人类误知或过度依赖 Agent 的输出导致判断被引导Agent 自身的目标、行为或决策偏离了预期与授权失效位置人类审查者的认知与决策环节Agent 的意图形成与行为执行环节Agent 状态可能完全按设计运行输出在技术上准确Agent 的目标或行为本身发生偏离人类角色人类是攻击面其判断被信任线索塑造人类可能是受害者或旁观者与是否过度信任无关典型症状自信摘要替代原始证据、审批基于呈现而非核查、关键验证缺失未被察觉Agent 追求未授权目标、越权操作、行为与声明意图不符主要控制点强制证据交叉引用、置信度呈现、人在环中重新定义、预览与效果分离权限边界、策略引擎、行为约束、目标对齐与监控修复方向改变人类审查方式或界面呈现改变 Agent 的权限边界或行为约束二者关系可同时出现于同一事件但归类和防御起点不同可同时出现于同一事件但归类和防御起点不同4. 为什么传统控制在 ASI09 面前失效传统安全控制假设攻击来自外部或来自被入侵的系统。ASI09 的攻击面是人类审查者的认知过程本身。没有恶意软件没有异常网络流量没有认证绕过。审批是由一名有权限的员工在正常工作时间、通过正常流程完成的。日志显示一切合规。OWASP 指出Agent 在这里扮演的是一个不可追踪的坏影响它操纵人类执行最终的、被审计的操作使 Agent 在妥协中的角色对取证几乎不可见。法律案例中的 Aarons 确实签署了那份简报财务场景中的经理确实点击了批准。从审计角度看责任归属清晰但从根因角度看真正的驱动力是 Agent 输出对人类判断的塑造。5. 防御的起点让证据可见让自信可被质疑ASI09 的防御核心不是让 Agent 变得更诚实而是让人类审查者在决策时面前有独立于 Agent 的证据。OWASP 给出的控制措施可以归纳为几个层次。强制证据交叉引用是最高优先级。对于高影响推荐付款、权限变更、配置修改、临床决策要求将关键字段与独立可信来源进行比对后才能批准。在应付账款场景中这意味着目标银行账户必须与供应商主记录进行比对而不是仅仅检查发票上写的账户与发票本身一致。预览与效果分离是另一个关键控制任何预览操作不得触发网络调用或状态变更且预览必须标注来源和预期副作用防止只读预览的心理模型被利用。置信度呈现的重新设计同样重要。当前 Agent 的输出往往以流畅、完整、自信的形态呈现这本身就是一种信任线索。OWASP 建议实施置信度加权提示如低确定性未验证来源以视觉方式促使人类质疑高影响操作。更激进的做法是提供独立于模型生成的风险摘要用非 Agent 的语言告诉人类这个推荐的证据基础是什么、缺失了什么而不是让人类阅读 Agent 自己写的辩护词。人在环中的重新定义可能是最根本的转变。ASI09 的教训是有人签字不等于有人验证。有效的 oversight 需要强制性的检查点在这些检查点上人类必须接触原始证据而非 Agent 的摘要。自适应信任校准要求根据上下文风险评分动态调整 Agent 的自主权和所需的人类监督级别高风险场景下人类必须看到源数据低风险场景下可以依赖摘要加速。对于法律案例中展示的场景一个可操作的规则是任何提交给法庭或监管机构的材料其中引用的每一个事实性断言证人、证词、判例、数据点必须能够追溯到原始来源且该追溯过程不能由同一 AI 工具完成。对于财务审批大额付款的银行账户变更应触发一个独立于应付账款流程的验证步骤——一个来自可信记录的自动比对或一个由不同人员执行的电话确认。6. 留给开发者和安全工作者的一个问题在设计任何包含人类审批环节的 Agent 工作流之前有一个问题值得反复追问人类在这个环节看到的东西是 Agent 对证据的总结还是证据本身如果答案是前者ASI09 的风险就已经存在。Agent 的摘要越流畅、越完整、越自信人类回到原始证据的可能性就越低。新墨西哥州的律师以为 ChatGPT 会给他无懈可击的摘要财务经理以为 AI 的发票已验证意味着所有该验证的都验证了。他们都没有错——Agent 确实给了他们一个看起来无懈可击的东西。问题在于无懈可击的呈现本身就是攻击面。ASI09 的终极防御不是让人类更不信任 Agent而是让架构确保人类在做出高风险决策的那一刻面前有 Agent 无法编写的东西数据库里的账户记录、法庭卷宗里的原始证词、供应商主文件里的银行信息。批准证据而非摘要。参考https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/