# Not Every Token Is Worth Distilling: Selective Supervision for Direct‑OPD 论文总结与翻译 论文arXiv链接：https://arxiv.org/abs/2609.29142## 一、论文主要内容Direct‑OPD是一种**弱到强的在线策略蒸馏（OPD）**方案：先在小规模教师模型上执行强化学习RL，再将RL带来的策略变化，通过RL前后模型checkpoint的token级对数比值，作为稠密监督信号迁移给更大的学生模型，避免直接对大模型做昂贵的RL训练。但原Direct‑OPD存在缺陷：对数比值仅表征**相对变化**，即便教师前后模型分配给学生候选token的概率质量趋近于0，该对数比值奖励仍然可以保持不变；此时教师行为实际几乎没有改变，但算法依旧给予同等强度监督，引入无效甚至有害的梯度信号，损害蒸馏效果。本文从理论上构造例子证明：Direct‑OPD的奖励与更新可以保持不变，但教师RL前后模型之间JSD、双向KL散度会伴随概率质量一起消失。JSD可以衡量教师行为真实变化幅度。基于该发现，作者提出**S²D‑OPD（Selective Supervision for Direct‑OPD）**：根据教师‑参考模型的JSD对学生采样得到的状态排序，屏蔽低散度状态上的监督，每条响应仅保留JSD最高的10%状态参与训练，**不需要额外前向计算开销**。实验设置2组教师对、4个学生模型（参数量1.7B‑8B），在数学推理数据集AIME、HMMT上测试。8组实验中7组S²D‑OPD相比原始稠密Direct‑OPD提升测试集精度，剩余一组效果持平；同时训练后期验证曲线更加平滑稳定。进一步分析发现：低JSD状