阿里云推出的 AI 网关, 新版已然正式开始免费的公测阶段, 其具备全新的架构, 从 0 元起步, Agent 管理升级成一张拓扑图致使当 AI 让主模型出现限流状况时业务不会中断, 在公测期间网关自身所产生的费用全部免除。AI 应用开发者的三个真实困境如果你正在开发 AI 应用大概率遇到过这些问题这些问题的本质是一样的AI 应用缺一个统一的流量入口。这恰恰是AI网关所要处理的事情, 即, 将多类API统一接入, 包括: LLM API、Agent API、MCP , 同时, 还要统一开展多项工作, 涵盖: 做路由、进行认证工作、给予限流处理、实施安全防护举措以及开展用量观测工作。于完整的AI应用链路当中, AI网关所处位置有两个, 其一乃是外部流量朝向Agent进入之际的入口, 其二则是Agent对模型进行访问之时的出口。AI 应用整体架构中 AI 网关的位置示意全新 架构0 元起步按实际用量付费往昔之时, 要是运用 AI 网关, 那就得先支付一笔起始费用, 如此一来, 好多刚刚开始起步, 并且流量暂时还不算大的业务, 都对此深感顾虑, 不敢贸然前行呀。这回进行公测的AI网关新版达成了架构方面的升级, 此升级是基于全新架构予以重构的, 在这种情况下, 资源使用效率变得更高了, 开通的速度也更快了, 而且采用使用多少就支付多少费用的模式。新版给出了两种实例形态。标准版企业版定位小规模生产、低流量业务正式生产、规模化业务起步成本0 元起步无实例费实例费 按量访问入口平台分配入口独立入口、支持自定义域名和证书服务等级99.9%99.95%标准版能使你以零成本开启小规模业务的运作, 无需为闲置资源支付费用 当业务规模有所增长后 , 可选择企业版以获取独立入口, 自定义域名, 更高的QPS和更高的服务等级, 后续更进一步规划了支持从标准版一键升级转变为企业版 , 且无需进行资源迁移等情况。▍相比原 版本新版升级了什么现已存在原有的实例, 能够继续予以使用, 并非是强制要求展开迁移对于新开通的情形, 提议应该优先去挑新版。AI 主模型出问题请求自动落到备用模型返回至起始位置的第二个艰难处境。模型服务进行速度限制、出现抖动属于一般状态, 此情况在网关方面能够直接消除掉——与之相对应的能力称作AI。它所做之事亦甚简易, 当主模型服务因异常、故障或高负载之际无法正常响应之时, 网关会自动切换至你预先配置的备用模型, 调用成功便即刻返回, 应用侧无法感知此次抖动, 用户亦看不到那个报错。一个Model API能够去设置一至多个模型, 网关会依照顺序逐个进行调用。因而你能够构建出「主模型 → 同能力备用模型 → 轻量兜底模型」这般的多级链路, 逐步实现降级, 并非在一次失败时就将错误抛给用户。同一个服务还能够在多条策略之中进行复用, 无需针对每个API都重新创建一遍。什么情况下会切走覆盖三类配置同样无需对应用进行修改, 在 Model API 之上将开关打开, 从服务列表里头挑选出一个备用服务就行。模型名称按默认方式进行透传, 当主备模型名不一样的时候也能够指定具体的模型。稳定性策略与业务代码自此实现解耦。备用模型面临更换, 顺序发生调整, 超时阈值得以更改, 这些均属于控制台上的一次配置变更, 无需针对每个应用各自编写一套重试逻辑, 也不必为了更改一个兜底策略而发布一次版本。Agent 管理升级一张拓扑图管好所有 AgentAgent时期的流量存有两项指向: 外部业务怎样去访问你的Agent还有Agent自身如何去访问模型。往昔此种两侧的配置分散于各异的入口之处, 此次新版把它们汇聚成为了一项资源: Agent。于控制台里头, 在那个名为「Agent管理」的地方里, 想要创建Agent的话, 仅仅只需两个步骤: 首先得给它起个名字, 然后要去选择类型, 此类型包括诸如百炼、Dify、Code以及自定义等等多样的Agent类型。在进行创建操作之后, 进入名为 Agent 的拓扑页, 将你所拥有的 Agent 当作中心:把 Agent 资源用于管理, 使得 Agent 访问以及模型访问, 都被收敛到同一个资源之下。调用量, 以及错误, 还有 Token 消耗, 和请求日志, 均依照 Agent 维度进行聚合展示。对于你的每一个 Agent 而言, 流量来自何处, 又去往哪里, 通过一张拓扑图能够明白无误得以看清。公测权益与开放范围公测时间7 月 31 日至 8 月 31 日。公测地域北京、上海、杭州、深圳、香港。在公测期间, 存在公测优惠情况。此优惠下, AI 网关, 也就是全新版本的网关这一自身东西的费用不需要收取任何款项, 只是公网流量是依据 CDT云数据传输来进行计费的。而像模型服务、日志服务等别的那些云产品, 其费用是依照对应产品自身所规定的规则来进行收取的。重磅新能力预告智能路由上线节奏的相关说明是, 智能路由功能会首先在实例型独享版也就是专享实例那里上线, 版本会在这之后推出, 敬请大家期待。智能路由所做之事颇为简易, 在具备充足能力的情形下, 会自动针对每个任务挑选更为节省、更为快速或者更为强大的模型, 简单的任务会运行轻量模型, 复杂的任务才会采用旗舰模型, 模型成本会随着任务结构自然而然地降低。智能路由根据任务在候选模型中自动选择其使用方式足够简便, 即不需额外的软件开发工具包, 不必要对应用实施改造, 只要将模型名替换为auto/便可。它提供了四种开箱即用的路由模式:新版智能路由还解决了两个真实场景中的难题在多轮对话当中, Agent 工具链不会出现“中途换脑”的情况。当继续执行同一个任务之际, 要保持模型的稳定状态, Agent 的工具调用链路在整个过程里都绑定同一个执行模型只有在确认切换到新任务的时候, 才会重新进行选择。从独立请求开始, 历经多轮聊天, 一直到 Agent 工具链, 通过一次接入就能实现全覆盖。平台模型跟自有模型一块儿进行统一决策, 候选池能够一键开启平台所内置的不同档位模型, 还能够纳入你自身已经配置完成的模型服务, 自有模型延续你自己的服务以及凭据, 账单归属维持不变, 路由更加智能, 然而边界清晰明确。结语起于 0 元的标准版起始点, 无需对你的应用进行重新编写, 也无需迁移已存在的模型服务。你的 AI 应用是时候有一个真正的流量入口了。马上进行体验, 在阿里云控制台, 搜索「AI网关」, 又或者去访问产品官网用以了解详细情况。请注意这一点, 本文所陈述的功能, 可以使用的范围, 还有所处的地域, 以及价格方面, 服务的等级, Agent 的类型, 模型的档位, 以及实例的规格, 各个方面全部都要以产品控制台, 连官网价格页再有相关公告展示出来的内容为准。在公测这个期间, 部分能力, 有可能会陆陆续续地开放的。