GATEWAYBENCH: UNIFIED CAPABILITY AND SECURITY EVALUATION PLATFORM FOR MCP GATEWAYS背景MCPModel Context Protocol已成为 AI agent 连接外部工具的标准介面。企业大规模部署 agent 时各 agent 自行管理伺服器端点与凭证的做法难以扩展因此出现了 MCP Gateway它是夹在模型与上游 MCP 伺服器之间的中介层负责汇整、治理和「塑形」暴露给 agent 的工具集。缺口gateway 决定了 agent 能看到哪些工具、怎样看到会直接影响 token 用量、工具选择的难度和攻击面。但在此之前没有研究系统性地评估 gateway 的设计如何影响 agent 的能力、效率与安全性。作者把 gateway 分成两种范式扁平式Flattened一开始就把所有伺服器的工具放进同一份清单交给 agent。阶层式Hierarchical只提供少数「工具探索 meta-tools」例如分层浏览、语意搜寻、虚拟档案系统agent 需要时再按需取得工具。四个研究问题RQ1工具数量增加含无关的杂讯工具时不同架构下的任务成功率会怎样变化RQ2不同架构在不同工具规模下的效率如何RQ3不同架构對红队攻击直接 prompt injection、间接的工具注入或環境注入的抵抗力如何RQ4底层LLM的能力和agent harness如何与gateway架构交互作用二、研究方法任务资料集524 题6 个领域DTAPDecodingTrust-Agent Platform选取 CRM、Finance、Travel 三个领域每个领域各取 50 题良性任务、50 题直接攻击、50 题间接攻击共 450 题。间接攻击中有 102 题是工具注入48 题是环境注入。MCP-Universe选取 Repository Management、Browser Automation、Location Navigation 三個领域人工剔除过易或过难的题目后剩 74 题。评分沿用兩套资料集原有的规则式、可验证评判器直接检查最终环境状态不依赖 LLM 打分。2. 真实杂讯工具池从 Docker MCP Hub 和 Arcade.dev 收集 251 个 MCP 伺服器共 11,118 个工具保留完整描述與 JSON Schema。用一个 mock MCP server 注册这些 schema但不实作功能任何呼叫都回传错误以避免真实副作用。领域感知过滤先让 LLM 总结每个任务领域再剔除与该领域语意重叠的杂讯伺服器确保注入的工具与任务严格无关避免 agent「合理地」呼叫 mock 工具而失败。每个设定下的杂讯工具以确定性方式抽样以保持 KV cache 友善和实验稳定。实验设计7 个gateway扁平式AgentCoreAWS闭源附语意搜寻工具、Agentgateway、LiteLLM、Lunar MCPX阶层式Enkrypt分层探索、Strata语意搜寻、Bifrost虚拟档案系统加程式码呼叫杂讯工具数0 / 500 / 1,000 / 1,500Agent 设定以 OpenAI Agents SDK GPT-5.1 為基准每次只改一个因素共 3 组SDK GPT-5.1SDK GPT-5.4OpenClaw GPT-5.1指標TSR良性任务成功率ASR_d直接攻击成功率ASR_ind间接攻击成功率再拆成 ASR_tool 与 ASR_envTSR_ind受间接攻击时的任务成功率效率任务耗时、单次工具呼叫延迟、每轮 token 数三、研究结果架构決定「能力與安全」的取舍Table 20 个杂讯工具阶层式在三种 agent 设定下的平均间接攻击成功率都明显较低Agent设定阶层式ASR_ind阶层式ASR_indSDK GPT-5.119.6%60.5%SDK GPT-5.430.9%47.2%OpenClaw GPT-5.115.6%42.5%在 GPT-5.4 下兩者的 TSR 相当85.1% vs 87.2%所以安全上的收益几乎不用牺牲能力。模型强度对阶层式影响更大从 GPT-5.4 降到 GPT-5.1阶层式平均 TSR 下降 37.6 个百分点扁平式只降 11.9 个百分点。Enkrypt 在 GPT-5.1 下崩溃到 23.3%因为模型跳过探索步骤直接呼叫幻觉出来的工具名称。作者特别提醒这种情况下的低 ASR 是「能力崩溃」不代表真的更安全。工具规模扩展呈现不对称性Table 3杂讯工具从 0 增加到 1,500 时扁平式平均 TSR 下降 10.0 / 3.9 / 6.0 个百分点依三种设定。阶层式最多只降 5.5 个百分点在 GPT-5.4 下完全没有下降85.1% → 85.6%。在 GPT-5.4 下两者出现交叉没有杂讯工具时扁平式领先 2.1 个百分点到 1,500 个杂讯工具时反落后 2.3 个百分点。安全差距主要来自「工具注入」Figure 4OpenClaw GPT-5.1工具注入 ASR扁平式约 51.5% → 40.6%阶层式稳定在约 16%。环境注入两种架构几乎没有差别。这符合预期因为 gateway 控制的是哪些工具进入 context而不是环境回传什么内容。直接注入在 GPT-5.4 下两者无差异44.7% vs 44.2%因为 gateway 不经手使用者 prompt。附录补充阶层式内部的差异也很大GPT-5.4 下工具注入 ASR 从 Bifrost 约 20% 到 Enkrypt 约 41%。所以「怎么呈现被注入的工具」与「是否采用阶层式」同样重要。效率没有绝对赢家Figure 5GPT-5.4Token扁平式每轮 token 从 8.3k 线性增加到 233.3k阶层式维持在 9.1k–12.6k。耗时没有杂讯工具时扁平式更快20.8s vs 30.1s因为阶层式的探索要多花几轮。在 500 到 1,000 个工具之间两者的快慢反转。到 1,500 个工具时扁平式需 64.1s阶层式只需 38.7s。Harness 也很关键同样使用 GPT-5.1把 SDK 换成 OpenClaw 后7 个 gateway 的 TSR 全部提升其中 6 个的 ASR_ind 也下降。作者的结论是gateway、模型和 harness 必须当作一个系统一起选择、一起优化。其他观察AgentCore 的搜寻工具在每组设定的 1,800 次执行中只被用了 1–19 次几乎没有人用。当所有工具都已可见时额外的搜寻工具作用有限。Bifrost 的问题弱模型生成的 Python 会错误处理字串中的 \n导致无法解析。Enkrypt 的问题回传大量无关的 JSON 设定而且列出全部工具时容易逾时