附录 A：递归改进能否扩展到更大的模型？核心结论附录 A 说明，DCE+SRCL 不仅适用于 1.7B、4B 和 8B 模型，也能在Qwen3-14B上产生明显的递归改进。但同时，14B 模型的性能提升伴随着输出长度快速增加，因此需要注意训练轮次和停止时机，不能只追求继续训练。1. 实验设置作者在 Qwen3-14B 上使用与主实验基本相同的 DCE+SRCL 框架，并记录训练早期的多个检查点。评测仍然采用：非思考模式；32K 最大生成长度；四个数学基准；Average@12 指标；同时记录平均生成 token 数。2. 准确率快速提升模型初始状态的 Average@12 为：21.39%训练到第 20 步时：42.64%训练到第 30 步时：66.39%也就是说，从初始模型到第 30 步，平均准确率提高了45.00 个百分点。这种提升不是由某一个数据集单独贡献的，而是四个测试集都出现了明显改善。其中 AIME 2026 的提升尤其显著：初始模型：19.44%；第 30 步：69.72%；提高了50.28 个百分点。这表明，递归式训练在更大模型上仍然能够快速放大模型的数学推理能力。3. 继续训练不一定更好到了第 50 步，Average@12 变为：65.21%相比第 30 步的 66.39%，准确率略有下降，但仍处在相近水平。与此同时，平均输出长度从第 30 步的：15,877 token；增加到第 50 步的：20,050 token。这说明继续训练带来的主要变化可能不是更高的正确率，而是让模型进行更长、更频繁的推理和检查。因此，附录 A 强调：对大模型而言，早期停止可能更有利于保持准确率和推理成本之间的平衡。4. 附录 A 对全文结论的补充正文已经证明 DCE+SRCL 在多个模型规模上有效，附录 A 则进一步补充了 14B 模型的证据。它说明：递归教师进化可以扩展到更大模型；大模型能够在较少训练步数内获得巨大收益；但训练越久，输出可能继续变长；因此，最佳检查点不一定是最后一个检查点。这也进一步支持论文的一个重要观点：模型能力提升和推理效率提升不是同一个目标，需要通过检查点选择和 SRCL 共同控制。一句话总结附录 A 证明 DCE+SRCL 在 Qwen3-14B 上同样能快速提升准确率，但过度训练会让输出明显变长，因此应选择合适的早期检查点来平衡性能与推理成本。附录 B：Gemma-4-12B-IT 的训练细节与附加结果核心结论附录 B 进一步证明，DCE+SRCL 的效果可以从 Qwen3 迁移到 Gemma-4-12B-IT。在 Gemma 上：DCE+SRCL 的最终 Average@12 达到63.61%；高于单独 DCE 的62.01%；明显高于 OPSD 的51.04%；SRCL 还能把平均输出长度从 8,812 token 降到 8,526 token。同时，附录再次证明：标准答案放置在 assistant-side context 中，比放在 user-side context 中更有效。1. Gemma 实验如何设置实验使用的具体模型是：google/gemma-4-12B-it训练数据仍然是与 OPSD 相同的：14,717 道数学题。训练设置基本保持与主实验一致：assistant-side 特权上下文；学生和教师都使用非思考模式；LoRA 训练 200 步；随机种子为 42；LoRA rank 为 128；LoRA alpha 为 256；全局 batch size 为 16；学习率为2.5×10−62.5\times10^{-6}2.5×10−6。DCE 和 DCE+SRCL 的主要区别只有 SRCL 权重：DCE：λS=0\lambda_S=0λS​=0；DCE+SRCL：λS=25\lambda_S=25λS​=25；两者使用相同的 DCE 权重：λG=5×104. \lambda_G=5\times10^4.λG​=5×104.这种设置可以更公平地比较 SRCL 在 Gemma 上的额外作用。2. 标准答案放置位置仍然很重要作者在 Gemma 上也比较了三种标准答案放置方式：assistant-side；user-side reference-last；user-side instruction-last。结果如下：方式Average@12平均输出长度Assistant-side63.61%8,526User-side reference-last55.76%10,872User-side instruction-last54.31%9,992assistant-side 比另外两种方式高出约 8 个百分点，而且输出更短。这说明标准解并不是“放进上下文就行”，它在上下文中的角色和位置会改变教师的行为。assistant-side 的组织方式更像：教师已经形成了一段内部推理，然后根据学生当前前缀继续指导。而 user-side 的方式更像：用户给了一份外部参考材料，模型再根据这份材料完成任务。前者更适合提供连续的、方向明确的纠错信号。3. 不同放置方式的训练动态不同附录还比较了三种放置方式的最佳检查点。Assistant-side 的最佳结果出现在第 100 步；User-side reference-last 的最佳结果出现在第 10 步；User-side instruction-last 的最佳结果也出现在第 10 步。这说明 assistant-side 不仅最终结果更好，而且能够持续从递归训练中受益；而两种 user-side 方式很早就达到峰值，之后没有继续改善。换句话说，assistant-side 更能支持长期的教师—学生协同进化。4. DCE 与 DCE+SRCL 的完整训练轨迹Gemma 的训练轨迹如下：步数DCE 准确率DCE+SRCL 准确率SRCL 相对提升1055.76%56.39%+0.632059.17%57.36%−1.813059.79%59.79%05061.04%62.85%+1.8110062.01%63.61%+1.6015061.04%62.08%+1.0420060.76%61.46%+0.69可以看出，SRCL 的收益不是从第一步开始就稳定出现：第 20 步时，DCE+SRCL 反而略低于 DCE；第 50 步之后，SRCL 开始稳定带来提升；第 100 步达到最佳结果；第 150 和 200 步仍然保持优势，但总体准确率略有回落。这说明 SRCL 的作用需要一定训练过程才能显现。模型需要先通过 DCE 学会较可靠的修正能力，然后才更容易从这些轨迹中提炼出短而正确的版本。5. 输出长度的变化在第 100 步：DCE：8,812 token；DCE+SRCL：8,526 token。SRCL 减少了约 286 个 token，同时提高了 1.60 个百分点的准确率。第 50 步时，SRCL 的效果更明显：DCE：7,701 token；DCE+SRCL：7,328 token；准确率从 61.04% 提高到 62.85%。不过在第 200 步，DCE+SRCL 的输出长度变为 10,439 token，略高于 DCE 的 9,968 token。这再次表明，SRCL 并不是在所有训练阶段都保证缩短输出；最佳模型检查点仍然很重要。6. 附录 B 对全文结论的补充附录 B 支持三点：第一，方法具有跨模型迁移性DCE+SRCL 在 Gemma 上同样优于 OPSD 和普通训练基线，因此它不是只适用于 Qwen3 的特殊技巧。第二，SRCL 的作用依赖 DCESRCL 并不是单独创造能力，而是在 DCE 已经建立纠错能力之后，进一步改善准确率和输出长度。第三，教师上下文设计会影响递归效果assistant-side 组织方式不仅最终准确率更高，也能让性能持续提升到较晚训练阶段，说明它更适合递归式教师更新。一句话总结附录 B 证明，DCE+SRCL 能迁移到 Gemma-4-12B-IT，并且 assistant-side 的标准答案表示方式更有利于教师持续进化、提升准确率和控制推理长度。附录 C：Qwen3-8B 与 Qwen3-4B 的完整训练轨迹核心结论附录 C 展示了不同训练方法在多个检查点上的变化，进一步说明：DCE 的准确率提升通常是逐步发生的，并且远超 GRPO 和 OPSD；SRCL 能在许多阶段降低输出长度，同时保持或提高准确率；最佳检查点不一定是最后一步；SRCL 如果脱离 DCE 单独使用，会变成“只追求短输出”，准确率几乎崩溃。1. Qwen3-8B 的训练轨迹Qwen3-8B 的基础模型表现为：Average@12：19.51%；平均输出：3,922 token。1.1 DCE 的准确率逐步上升DCE 的准确率变化为：训练步数DCE 准确率平均长度1022.85%5,0312032.36%7,1683045.49%11,1415064.44%18,72810064.93%19,03615065.76%19,04620064.31%19,072可以看到，DCE 在前 50 步提升非常快：从 19.51% 提升到 64.44%；输出长度也同步快速增加。之后准确率基本进入平台期，在 64%–66% 附近波动，而输出长度继续维持在约 19K token。这说明 DCE 早期主要带来推理能力跃升，后期继续训练的收益变小。1.2 SRCL 可以改善准确率—长度平衡DCE+SRCL 的轨迹为：训练步数DCE+SRCL 准确率平均长度1023.54%5,0162033.75%7,0643046.67%10,7595061.32%15,95910065.97%17,56115065.14%18,05720064.58%18,225最值得注意的是第 100 步：DCE：64.93%，19,036 token；DCE+SRCL：65.97%，17,561 token。也就是说，SRCL 在这一检查点同时实现：准确率提高约 1 个百分点；输出减少约 1,475 token。第 50 步时，SRCL 的输出也明显更短，但准确率低于单独 DCE。这说明 SRCL 的作用会随训练阶段变化，不能简单理解为任何检查点都一定提升准确率。1.3 GRPO 和 OPSD 的变化较小GRPO 在整个训练过程中大致维持在 18%–20% 左右，几乎没有明显提升。OPSD 虽然比 GRPO 好，但最高只有约 30.35%，而且输出长度从约 4K 增长到 6K 左右。相比之下，DCE 在第 50 步以后就已经达到 60% 以上，说明动态教师带来的改进远强于传统结果奖励和冻结教师蒸馏。2. Qwen3-4B 的训练轨迹Qwen3-4B 的基础模型表现为：Average@12：17.57%；平均输出：3,805 token。2.1 DCE 早期快速提升，但后期出现回落DCE 的准确率变化为：训练步数DCE 准确率平均长度1022.99%4,7922030.00%7,7233054.38%16,9755060.00%19,36010056.04%22,42315055.56%22,05720049.58%24,701DCE 在第 50 步达到最高准确率 60.00%，之后准确率逐步下降，同时输出长度继续增长。这说明在 4B 模型上，继续递归训练可能使模型：反思次数增加；生成更长；但没有继续获得相应的准确率收益。因此，DCE 在 Qwen3-4B 上的最佳点比较早，大约在第 50 步。2.2 DCE+SRCL 能明显稳定训练DCE+SRCL 的轨迹为：训练步数DCE+SRCL 准确率平均长度1022.43%4,9122030.21%7,3883053.82%15,0965057.99%15,04410060.83%17,15215060.63%17,46320061.88%17,265与单独 DCE 相比，SRCL 在 4B 上的作用尤其明显：第 50 步，长度从 19,360 降到 15,044；第 100 步，准确率从 56.04% 提升到 60.83%；第 200 步，准确率从 49.58% 提升到 61.88%，长度却从 24,701 降到 17,265。这说明 SRCL 不仅能删掉冗余推理，还能缓解 DCE 后期“越训越长、准确率反而下降”的问题。3. SRCL 单独使用为什么会失败附录 C 特别强调：如果没有 DCE，只使用 SRCL，结果几乎崩溃。Qwen3-8B：最高只有2.36%，平均约 1,116 token；Qwen3-4B：最高只有0.76%，平均约 531 token。这类输出虽然很短，但大多不正确。这说明 SRCL 本身不是一个完整的推理能力训练方法。它更像一个“压缩和整理”目标：如果模型已经有较好的纠错能力，SRCL 可以帮助它删除冗余；如果模型没有学会正确推理，SRCL 只会让错误答案变短。因此，DCE 和 SRCL 的关系是：DCE 先建立可靠的纠错能力，SRCL 再对这种能力进行压缩和整理。4. 附录 C 说明的训练规律4.1 性能提升和输出长度通常同时出现DCE 早期提升准确率时，输出也会明显变长。这说明模型可能通过更多检查、回溯和分支探索获得更高正确率。4.2 继续训练可能带来过度推理在 4B 模型上，DCE 第 50 步之后输出继续变长，但准确率反而下降。这表明更多反思不一定意味着更有效的推理。4.3 SRCL 的价值在后期更加明显当 DCE 已经让模型具备较强推理能力后，SRCL 能帮助模型：保留正确的推理；删除错误分支；减少重复检查；延缓准确率回落。4.4 最佳检查点需要根据模型规模选择Qwen3-8B 的 DCE+SRCL 在第 100 步达到最佳；Qwen3-4B 的 DCE+SRCL 在第 200 步仍保持较高水平；单独 DCE 在 4B 上第 50 步就达到峰值。因此，不能默认“训练越久越好”，需要同时观察准确率和输出长度。一句话总结附录 C 表明，DCE 负责让模型逐步获得强大的推理和纠错能力，而 SRCL 负责抑制后期无效变长；只有二者结合，模型才能在较长训练过程中保持较高准确率和更合理的输出长度。附录 D：教师更新策略的比较核心结论附录 D 专门检验一个问题：教师只要更新就够了吗？还是必须像 DCE 一样每一步都与学生同步更新？结果表明：冻结教师最差；EMA 教师和周期性复制教师都有改善；每一步完全同步的动态教师总体最好；最佳效果不仅体现在准确率上，也体现在更好的准确率—输出长度平衡上。1. 比较了哪些教师更新方式作者在相同的 Qwen3 设置下比较四种策略。1.1 冻结教师教师始终保持初始参数：θT=θ0. \theta_T=\theta_0.θT​=θ0​.这是传统 OPSD 的做法。1.2 EMA 教师教师不直接复制学生，而是使用指数移动平均：θT(t)=dθT(t−1)+(1−d)θS(t). \theta_T^{(t)} = d\theta_T^{(t-1)} + (1-d)\theta_S^{(t)}.θT(t)​=dθT(t−1)​