【免费下载链接】Qwen3.5-122B-A10B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-122B-A10B-singprobe点击查看免费下载本文以 inclusionAI/Qwen3.5-122B-A10B-singprobeSingProbe流式安全探针为蓝本从 6.17M 探针的架构设计、注意力与 MLP 双实现代码到训练与部署步骤带你一步步学会如何训练自己的流式安全探针适合 AI 安全与 LLM 推理优化的新手阅读。什么是流式安全探针内置而非外挂 ️大模型安全常见做法是外挂护栏模型等回答生成完再跑第二个安全模型审查。这种方式有三个明显痛点延迟翻倍必须等完整生成后才能审查资源翻倍需要部署一个额外的模型无法流式只能事后检测无法在 token 生成的当下干预流式安全探针SingProbe换了思路不再单独部署安全模型而是直接在基座模型 Qwen3.5-122B-A10B 内部抽头tap隐藏状态在生成过程中对每个 token 实时打分一次判断三件事查询意图query intent用户问题属于哪类意图共 8 类回复不安全性unsafe当前生成的内容是否不安全幻觉风险hallucination模型是否在编造事实。解码时额外开销不足0.5%——相当于给 122B 大模型免费配上了护栏。架构揭秘6.17M 参数与三层抽头探针的核心配置全部写在 config.json 中参数取值含义model_typesing_probe_attn注意力版探针正式发布的版本hidden_size3072基座模型的隐藏层维度base_model_layer_ids[14, 30, 46]从中层、后层、末层抽取表示num_attention_heads8探针的注意力头数sliding_window2048每个 token 回看的最大窗口num_labels108 类意图 unsafe hallucination两个值得学习的设计点多层抽头拼接探针输入不是单层输出而是第 14 / 30 / 46 层隐藏状态的拼接输入维度为3072 × 3 9216。浅层偏表面特征、中层偏结构、末层偏任务语义拼起来互补滑动窗口注意力sliding_window2048表示每个 token 只看前 2048 个 token长上下文也不会导致计算量爆炸。代码剖析两种探针实现任你选完整模型代码在 modeling_sing_probe.py包含两种可自由组合的实现训练自己的探针时可按需选择。方案一MLP 探针最简单SingProbeMlpModel 只有两层线性变换拼接隐藏状态 (9216) → Linear(9216→1024) → GELU → Linear(1024→10) → logits它是纯逐点分类不带上下文建模能力训练最快、推理开销最低。如果基座模型末层表示本身可分性已经很好这个方案往往就够用。方案二注意力探针发布版本SingProbeAttnModel 在 MLP 基础上增加了一层自注意力proj_q / proj_k / proj_v把多层拼接特征投影为 Q/K/V其中 Q 拆成 8 头 × 64 维_sliding_window_attention分块的滑动窗口注意力保证每个位置只回看最近 2048 个 tokenforward注意力输出与 Q 特征做残差融合再经RMSNorm和线性层输出 10 个分数。对应的配置类 SingProbeAttnConfig 通过 config.json 的auto_map注册用AutoModel即可直接加载训练完保存也很方便。探针总参数仅6.17M比 122B 基座小四个数量级这是开销近乎为零的关键。逐 token 打分为何能实现流式检测流式安全探针的核心在于每生成一个 token 就能立刻拿到风险分数不用等整段输出。解码时基座模型为每个新 token 输出第 14、30、46 层的隐藏状态三者拼接成 9216 维向量送入探针探针输出 10 个分数label_0–label_9由推理框架随 token 一并返回应用层根据分数阈值实时干预改写、截断或转人工审核。由于注意力是因果的只看已生成内容分数不会偷看未来 token——这正是流式streaming检测的含义。性能表现技术报告关键数据 官方技术报告arXiv:2608.30703的核心结果收录于 README.md任务指标SingProbe参考基线查询意图分类6 个基准F10.8697YuFeng-XGuard-Reason-8B0.8714回复安全分类8 个基准F10.8680Qwen3Guard-Gen-8B-strict0.8604流式安全3 个基准R-AUC / T-AUC0.9895 / 0.9304Qwen3Guard-Stream-8B-strict0.9640 / 0.8893幻觉检测6 个基准AUC0.7806DRIFT0.8000两个最实用的数字正常回复误报率平均仅 0.03%日常对话几乎不会被误伤解码开销 0.5%线上服务延迟基本无感。用 6M 参数的探针逼近专用 8B 护栏模型流式指标甚至反超 Qwen3Guard-Stream投入产出比非常高。实战如何训练自己的流式安全探针你不需要训练大模型本体整个过程就是抽特征 训小头四步走第 1 步设计标签体系与数据定义标签如 SingProbe 的 10 类8 类意图 unsafe hallucination收集 (prompt, response) 样本并标注做流式安全还需标注第一个不安全 token 的位置用于计算 R-AUC / T-AUC。第 2 步抽取隐藏状态冻结基座模型如 Qwen3.5-122B-A10B在选定的几层本文参考[14, 30, 46]可按总层数调整注册 forward hook批量前向保存各抽头层拼接后的 hidden states。第 3 步训练探针头资源有限选 MLP 探针两个线性层单卡可训需要局部上下文能力就选注意力探针损失函数用标准交叉熵数据量不大几小时即可收敛。第 4 步集成与评测用save_pretrained保存并在config.json里注册auto_map即可被AutoModel.from_pretrained加载评测误报率、检测 F1、流式指标R-AUC / T-AUC并实测解码开销。 官方训练代码已开源在 inclusionAI 的 SingProbe 仓库inclusionAI/SingProbe跟着跑即可无需从零造轮子。部署一行命令启用护栏 ⚡最省事的用法是通过 SGLang 集成分支启动服务时传入探针路径详见 README.mdpython -m sglang.launch_server \ --model-path Qwen/Qwen3.5-122B-A10B \ --probe-ckpt inclusionAI/Qwen3.5-122B-A10B-singprobe \ --port 30000接口随后为每个生成的 token 返回一个分数字典label_0–label_9可直接接入你的风控逻辑。注意基座模型与探针必须成对使用Qwen/Qwen3.5-122B-A10B 本 checkpoint不能混用。总结流式安全探针 多层隐藏状态抽头 6M 级轻量探针头让 122B 大模型以 0.5% 开销获得逐 token 护栏官方提供 MLP 与注意力 两种实现按资源与任务需求二选一训练路径清晰冻结基座 → hook 抽特征 → 训小头 → 注册auto_map部署无需大规模集群想给自己的模型加护栏这套探针式方案是一个可以直接照抄的模板。赞分享【免费下载链接】Qwen3.5-122B-A10B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-122B-A10B-singprobe点击查看免费下载相关推荐如何训练自己的token级安全探针Qwen3.8-27B-singprobeSingProbe训练方法与技术报告解读如何训练自己的token级安全探针Qwen3.8 27B singprobeSingProbe训练方法与技术报告解读 本文以开源模型 Qwen3.8 27Qwen3.5-122B-A10B-singprobe源码解析上SingProbeAttnModel与SingProbeMlpModel两种探针架构全拆解Qwen3.5 122B A10B singprobe源码解析上SingProbeAttnModel与SingProbeMlpModel两种探针架构全拆解Qwen3.5-122B-A10B-singprobe部署架构揭秘SGLang/vLLM如何把Token探针挂进推理引擎Qwen3.5 122B A10B singprobe部署架构揭秘SGLang/vLLM如何把Token探针挂进推理引擎 Qwen3.5 122B A10B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考