# Verify Before You Distill: Prompt‑Level Teacher Gating for On‑Policy Distillation 论文总结与翻译 论文arXiv链接：https://arxiv.org/abs/2609.02998## 一、论文主要内容该论文针对**同策略蒸馏（On‑Policy Distillation, OPD）**存在的缺陷，提出 **TGOPD（Teacher‑Gated On‑Policy Distillation，教师门控同策略蒸馏）**算法。传统Vanilla OPD利用冻结的大教师模型，对学生模型自己生成的序列提供稠密token级监督，加速模型后训练。但它会不加区分地对所有提示词使用教师监督信号：由于反向KL散度具备模式搜寻特性，如果教师对某个提示**自信但答案错误**，会给学生带来误导性梯度更新；而熵、师生似然度这类分布代理指标，只能衡量不确定性、师生一致性，**无法直接判断输出结果是否正确**。另外异步OPD训练范式中，教师节点大部分时间处于空闲状态，GPU利用率极低（仅9.8%），算力大量浪费。TGOPD核心思路：**在应用稠密蒸馏监督前，先在提示词粒度校验教师模型的可靠性**：1. 教师针对当前提示生成少量探测样本，交由验证器打分，根据探测样本通过率估计该提示下教师的可靠性；2. 设置阈值做门控：可靠性达标，则使用原始稠密OPD监督；不达标，则放弃教师信号，切换为基于验证器的GRPO强化学习更新；两个分支互斥，不会混合插值；3. 探测计算复用教师原本空闲的算力，显著提升GPU利用率。实验在4B、35B两个学生模型规模，数学、代码、指令跟随三类任务上验证：