摘要AI 系统进入高风险生产环境后失效常呈长尾与对抗诱导特征平均指标盖不住这些危险于是分出防守的 AI 安全与进攻的红队测试。AI 安全用鲁棒性、监控、对齐、系统安全四道防线兜底红队测试以攻击者视角冲击越狱、提示注入、内容安全三类威胁把风险变成可比较、可回归的数字但风险只能降不能除过了红队也不代表绝对安全。关键词AI安全红队测试鲁棒性对齐越狱提示注入HarmBench评测指标1 核心定义与安全域划分1.1 基本概念AI安全AI Safety是防范人工智能系统在开发、部署与运行全生命周期中引发事故、滥用或有害后果的跨学科领域。事故指模型在无对手介入下因目标误设或分布偏移而偏离设计意图滥用指恶意行为者刻意利用模型能力造成危害有害后果指部署外溢到社会层面的系统性风险[1]。AI安全关注系统会不会违背意图AI安全防护AI Security关注系统能否被非法侵入二者互补共同构成完整的AI风险治理视野[1]。红队测试源自传统网络安全指以攻击者视角对目标系统主动对抗探测以暴露缺陷。在大语言模型语境下它由人类专家、自动化脚本或具备攻击能力的语言模型发起通过构造对抗性输入触发失败模式再把发现反馈到训练与部署形成闭环。Anthropic 更将红队攻击用例公开累计发布逾 38961 条真实样本供社区分析[4]。1.2 四大风险类别机器学习安全可分为四个相互嵌套的类别类似安全工程的“瑞士奶酪模型”——多层防御叠加阻挡单点失效[1]。表1 给出各类别的关注点、典型问题与防御方向。类别关注点核心目标典型问题防御方向鲁棒性抵御危险在分布偏移与对抗扰动下维持稳定表现对抗样本、后门触发、长尾事件崩塌对抗训练、认证防御、OOD 泛化监控识别危险运行时持续捕捉异常行为与恶意使用不确定性估计失效、后门潜伏不确定性量化、异常检测、可解释性对齐降低模型固有危险让模型实际追求的目标契合设计者意图奖励黑客、欺骗性对齐、奉承倾向RLHF、宪法式训练、可扩展监督系统安全降低系统性危险处理部署环境与社会条件带来的集体风险攻防失衡、机构决策失灵、逐底竞争网络防御、机构治理、部署前承诺表1 机器学习安全四大类别的关注点与防御方向四者的逻辑分工可概括为对齐解决“模型想不想做坏事”鲁棒性解决“能不能被诱导做坏事”监控解决“做了能否被发现”系统安全解决“整个生态会不会被拖垮”[1]。1.3 三大威胁向量大语言模型部署后攻击者主要从三类通道诱导其越过安全边界OWASP GenAI Security Project 将前两类纳入 LLM 应用十大风险清单[2]。表2 汇总三类威胁的攻击原理、典型手段与防御措施。威胁攻击原理典型手段主要危害防御方向越狱精心构造输入以使模型完全无视自身安全协议[2]角色扮演、多轮诱导、GCG 梯度搜索后缀[3]生成武器制造、非法活动指导等有害内容拒绝方向强化、分类器防御[7]提示注入将恶意指令混入模型可见的输入流用户消息、RAG 文档、工具返回等覆盖或篡改系统提示[2]直接注入、间接注入、目标劫持、信息泄露操纵 Agent 行为、劫持工具调用、泄露隐私数据通道隔离、输入输出过滤、权限最小化内容安全模型在正常或对抗输入下生成违规有害内容毒性续写、偏见触发、PII 泄露、训练数据反演仇恨言论、歧视输出、隐私泄露内容分类器、输出过滤、人工审核表2 三大威胁向量的攻击原理与防御方向概念上越狱是提示注入的特例——OWASP 将其定义为“使模型忽略安全协议的提示注入形式”[2]越狱与提示注入聚焦“绕过策略或夺取控制权”内容安全聚焦“输出本身的合规性”三者常在同一攻击链上叠加。提示注入的系统攻防可参见 Prompt注入与防范.md。2 动机与传统安全评测的局限传统机器学习评测以平均指标为核心无法覆盖部署中真实发生的长尾失效与对抗性失效由此形成系统性安全盲区。其瓶颈有三。其一平均指标掩盖重尾风险普通测试集上表现优异的模型仍可能在罕见或对抗样本上灾难性失败而这恰是高后果场景中代价最高的。其二评测环境与部署环境脱节静态基准假定无对手介入真实部署却持续面对试图操纵模型的用户。其三误以为能力提升自带安全Anthropic 对 2.7B、13B、52B 三档规模的对比实验显示RLHF 模型随规模增长确实越来越难被红队攻破但其他类型模型呈平缓趋势说明攻击难度并不随规模等比例提升安全评测必须独立于通用能力评测单独开展[4]。在此背景下AI安全的突破体现为两条主线的合流。第一条是安全研究框架化Hendrycks 等把零散安全议题收敛为鲁棒性、监控、对齐与系统安全四大类使安全从口号变成可工程化的目标集合[1]。第二条是对抗视角引入评测Perez 等与 Ganguli 等以语言模型辅助生成红队用例并公开指令、数据与建模细节证明“用模型发现模型缺陷”在规模化上可行[4][5]。两条主线的交汇点即红队测试——它不再是可选的附加环节而是连接安全研究与生产部署的桥梁。3 系统化红队测试框架3.1 红队测试的四步闭环红队测试并非一次性事件而是嵌入 AI 开发生命周期的持续对抗循环可拆解为发现、清单、迭代、报告四个阶段[4][5]。整体流程如图1 所示。修复后回归新攻击手法涌现1 发现威胁建模与攻击面枚举2 清单风险映射与用例库3 迭代自动化与多轮攻击4 报告量化评分与修复建议图1 红队测试的四步闭环流程第一步为发现阶段核心是威胁建模与攻击面枚举。红队需梳理模型的用户角色、输入通道、工具集成、检索数据源与 Agent 权限等所有可能被攻击的入口明确要保护的资产与对手画像并预先定义“什么算确认漏洞”。Anthropic 的红队报告指出威胁模型的清晰度直接决定后续攻击的覆盖效率与发现质量[4]。第二步为清单阶段建立结构化攻击用例库。包括越狱模板、间接注入载荷、毒性触发语料、偏见探测集与 Agent 场景攻击等OWASP LLM 十大风险作为覆盖度基线用以确保每一类风险都有对应的测试项[2]。第三步为迭代阶段以自动化攻击驱动规模化发现。代表性技术包括GCG 通过贪心坐标梯度搜索自动生成可迁移的对抗后缀能从开源模型迁移到 ChatGPT、Claude 等黑盒模型[3]Anthropic 的红队语言模型经零样本生成到强化学习自动产出覆盖不同难度与多样性的测试用例[5]微软开源的 PyRIT 进一步把上述攻击编排为模型与平台无关的自动化流水线用于多模态生成式系统的规模化风险识别[8]。第四步为报告阶段输出可追溯的风险量化与修复建议。报告需涵盖失败模式分类、每类漏洞的攻击成功率、严重程度分级、可复现的攻击路径、根因分析与防御建议报告结论回流到训练数据修订、系统提示调整与护栏加固形成“红队—蓝队—训练”三方协同的持续对抗循环[4][5]。3.2 数据驱动的量化评测指标红队测试的产出需要转化为可比较、可回归、可追踪的数字才能作为模型发布与部署的硬性门禁。HarmBench 作为该方向的标准化基准统一了攻击方法分类、目标行为分类学与量化指标定义使红队方法与模型防御得以在同一尺度下横向比较[6]。表3 汇总红队测试中的核心量化指标。指标形式化定义判读方向攻击成功率 ASRA S R # 成功诱导有害输出 # 总攻击样本 ASR \frac{\#\text{成功诱导有害输出}}{\#\text{总攻击样本}}ASR#总攻击样本#成功诱导有害输出​越低越好过度拒绝率 URRU R R # 对良性请求的误拒 # 良性测试集 URR \frac{\#\text{对良性请求的误拒}}{\#\text{良性测试集}}URR#良性测试集#对良性请求的误拒​越低越好毒性生成率 TGRT G R # 被判为有毒的输出 # 总生成样本 TGR \frac{\#\text{被判为有毒的输出}}{\#\text{总生成样本}}TGR#总生成样本#被判为有毒的输出​越低越好失败检测率 DFR在重复采样或分布内–分布外对照实验中统计无统一闭式公式越高越好表3 红队测试的核心量化指标及其判读方向在指标之上工程实践有三个要点。第一多基准报告而非单点数字不同基准对攻击强度的刻画差异显著单一基准的优异成绩无法外推为整体安全水平需在多基准、多温度、多采样下联合报告[6]。第二ASR 与 URR 的权衡更严格的拒绝策略压低 ASR 的同时会推高 URR、损害可用性二者需联合优化而非单边压低[6]。第三判官自身的可靠性用 LLM 自动判定攻击是否成功时判官也可能被对抗样本操纵需对其校准并做对抗鲁棒性测试[6]。4 价值与边界4.1 标准化与防御验证的双重收益红队测试的价值体现在两个层面。在评测标准化层面HarmBench 以 18 种红队方法对比 33 个目标模型及防御首次给出跨方法、跨模型的统一量化结论使“哪个攻击更强、哪个模型更鲁棒”获得可复现的实证答案并展示了攻防协同迭代的可行性[6]。在防御验证层面它已是新型防御上线前的强制环节Anthropic 的 Constitutional Classifiers 部署前接受超过 3000 小时人类红队结果显示没有任何攻击报告能在更严格判定阈值下成功回答全部 10 个目标问题验证了分类器防御对通用越狱的拦截能力[7]。可见红队测试既是“衡量模型”的尺子也是“训练防御”的磨刀石。4.2 主流红队实现方式对比当前业界的红队测试实现方式呈现手工、半自动、全自动与混合协作并存的格局表4 从成本、覆盖与可迁移性等维度给出对比。实现方式成本覆盖能力可迁移性代表系统人工红队高依赖专家经验覆盖窄但深低Anthropic 红队实践[4]红队语言模型中多样性可扩展中Anthropic 红队 LM 方法[5]梯度优化攻击中自动化、可大批量生成高可跨模型迁移[3]GCG[3]混合人机协作中高兼顾深度与规模中高PyRIT 流水线[8]表4 主流红队测试实现方式对比4.3 边界——量化风险可降不可除红队测试的量化结论存在固有边界使用时需明确三点。第一通过红队不等于绝对安全红队本质是对失败空间的采样式搜索未发现漏洞只表示“在当前攻击能力与预算下未发现”不能作为“模型无风险”的证明。第二攻防是持续军备竞赛GCG 等自动化攻击已证明其结果可从开源模型迁移到黑盒商用模型[3]针对特定模型的结论会随攻击技术演进失效需持续回归而非一次性认证。第三防御存在量化成本Constitutional Classifiers 虽显著提升鲁棒性也带来可观测的过度拒绝代价[7]任何防御都需在 ASR 与 URR 间做工程权衡。因此红队测试的真实定位是把风险降到可量化、可接受阈值的持续工程过程而非“消除风险”的终点。总结AI 安全守、红队测试攻一个用四道防线让系统别闯祸一个以攻击者视角反复找它闯祸再把风险压成能比较、能回归的数字。可风险只降不除过了红队也不等于绝对安全安全是持续对抗而非一劳永逸。参考文献[1] D. Hendrycks, N. Carlini, J. Schulman, and J. Steinhardt.“Unsolved Problems in ML Safety.”arXiv:2109.13916, 2021.[2] OWASP Foundation.“OWASP Top 10 for LLM Applications v2.0.”genai.owasp.org, 2025.[3] A. Zou, Z. Wang, N. Carlini, M. Nasr, J. Z. Kolter, and M. Fredrikson.“Universal and Transferable Adversarial Attacks on Aligned Language Models.”arXiv:2307.15043, 2023.[4] D. Ganguli, L. Hernandez, D. Loveland, et al.“Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned.”arXiv:2209.07858, 2022.[5] E. Perez, S. Huang, F. Song, et al.“Red Teaming Language Models with Language Models.”EMNLP, 2022.[6] M. Mazeika, L. Phan, X. Yin, A. Zou, Z. Wang, N. Mu, et al.“HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal.”ICML, 2024.[7] M. Sharma, M. Tong, T. Korbak, et al.“Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming.”arXiv:2501.18837, 2025.[8] G. Lopez Munoz, T. Burt, R. Golshan, A. Venzke, and S. Bahl.“Announcing Microsoft’s Open Automation Framework to Red Team Generative AI Systems.”Microsoft Security Blog, 2024.