最近AI圈子里讨论推理模型训练的声音越来越大各家都在探索怎么把强化学习RL这条路走通。小米这次放出的MiMo-V2.6技术报告标题就写得很直白——“The Hard Road to Scaling Up RL”翻译过来就是“扩展RL的艰难之路”一看就是要把自己踩过的坑、试过的路、总结出的规律全部摊开来讲。我仔细读完之后感觉这篇报告的价值不在于某个单一指标的刷新而在于它把RL训练中的几个关键变量——数据策略、算法选择、训练时长、计算预算——做了非常系统的消融对比并且基于7B这个不算大的模型规模跑出了接近60k步的训练流程。这篇东西对于正在搞推理模型训练、尤其是想搞清楚RL到底怎么scale的团队来说是一份很好的参考样本。//这里先给不太熟悉背景的读者交代一下上下文。MiMo系列是小米基于MiMo-7B底座做的推理模型V2.6这个版本的核心卖点是完全依靠强化学习来激发模型的推理能力没有使用任何现成的推理模型比如o1、R1这类的蒸馏数据。换句话说它是从通用对话模型出发靠RL算法硬生生训练出数学、代码等领域的推理能力。报告里最扎眼的数据是训练步数——接近60,000步这个规模在7B级别的开源模型里非常少见。对比来看很多团队做RL训练跑几千步就收敛了而小米这次把训练时长拉长了近一个数量级同时借这个超长训练过程观察到了“顿悟时刻”和“重复陷阱”两个阶段性的现象。这就让整篇报告不仅仅是讲“我们跑了个模型得了多少分”更像是在讲RL训练这件事本身的性质。这篇博客主要围绕三件事展开第一拆解MiMo-V2.6的实验设计思路搞清楚它的训练管线是怎么搭起来的第二逐项分析数据、算法、时长、计算预算这四个维度各自带来了什么规律哪些结论是可以迁移到其他模型上的第三结合我在实际训练中的经验谈谈复现这类实验需要什么样的环境、有哪些容易被忽视的坑。内容会偏向实操和规律总结适合正在做RL训练、或者打算从SFT转向RL的算法工程师参考。1. 纯RL路线到底在解决什么问题上一代推理模型的训练逻辑大多逃不开“模仿-微调-蒸馏”的套路。先把数据里的正确答案喂给模型让它学会输出格式和解题套路然后再用RL做一轮偏好对齐。这种做法有个天然优势训练过程的稳定性有保障模型不会在探索初期输出一堆乱码。但它也有一个很难绕开的瓶颈——模型的推理上限始终被教师数据的天花板压着。MiMo-V2.6选择了一条更硬核的路线从通用对话模型直接进入RL训练不使用任何针对推理任务精心构造的种子数据更不借助其他推理模型的知识蒸馏。这个决策背后的动机其实是对“数据天花板”的不满。报告里有一句让我印象很深的话纯RL路线下模型虽然起步慢、爬得也慢但一旦突破了某些临界点获得的收益是蒸馏路线给不了的。这个“收益”体现在两个地方。第一是泛化性。蒸馏出来的推理能力往往带有明显的“数据集味道”——你拿AIME的题训练它就擅长AIME这种风格换个出题风格就不太行了。纯RL训练出来的模型因为推理能力的形成是模型自己在探索中构建的没有外部数据强行塑形所以面对陌生题型时的适应力更好一些。第二是涌现行为。模型在RL训练中后期会自发出现一些策略上的“顿悟”比如突然学会自我反思、尝试多种解法验证答案等。这些行为不是谁设计出来的是模型在环境反馈中自发摸索出来的这也是纯RL路线最迷人的地方。但代价也摆在明面上。报告里展示的60k步训练放到实际生产环境是一大笔计算开销。而且RL训练不收敛的问题、训练过程中的反复振荡、以及后期过采样导致的重复退化都是纯RL路线必须硬着头皮面对的问题。在我看来MiMo-V2.6最大的贡献其实是把这些“难”具体化了——难在数据配比怎么调、难在GRPO到底要跑多久、难在时长和模型规模的边界在哪儿。2. 实验设计的骨架控制变量和归一化对比读技术报告和读论文不太一样论文往往注重证明一个观点报告更注重呈现一件事的多个切面。MiMo-V2.6的报告整体结构很清晰它把RL训练拆成了四个可以独立调节的旋钮数据策略、RL算法、训练时长、计算预算。每个旋钮都做了一组对照实验而且实验之间保持了很强的控制变量意识。比如数据策略这块它没有停留在“用多少比例的数据”这种粗糙层面而是把问题拆得更细比如数据的构成对学习稳定性的影响、合成数据的配比如何影响特定任务的收敛速率。算法对比也不是只看GRPO和RLOO谁分数高而是在同一数据、同一训练步数下去比较两者的样本效率和稳定性。训练时长维度更是拉出了一条近乎完整的学习曲线不仅记录了指标变化还顺带把模型在哪个阶段出现了“顿悟”都标了出来。报告里还有一个非常关键的处理——归一化比较。由于不同算法、不同数据配比条件下模型的实际收益和计算开销是错位的单纯对比最终分数会得出错误结论。所以它引入了类似“每单位计算量的收益”这样的换算方式把不同实验拉回到同一个可比刻度上。这种对比思路我在自己跑实验时也深有体会。很多时候你做了一组消融发现A配置比B配置高了1分但A配置的训练成本是B的两倍如果不做归一化这个1分就会误导后续的决策。实验设计的另一个亮点是它把整个report的最后落点放到了“计算最优边界”上也就是说不仅关心模型score能刷多高还关心在有限算力下怎么分配训练资源最划算。这一点对很多资源不宽裕的研究团队特别有参考价值因为它直接给出了一个性价比导向的训练建议。2.1 数据策略的尺度规模、构成与动力学数据是RL训练的燃料但不同阶段的数据“口味”完全不同。MiMo-V2.6的数据策略设计一句话概括就是通用数据打底合成数据引路逐步提升任务的探索难度。报告里给出了一个很有意思的数据配比实验在训练语料中混入不同比例的合成推理数据然后观察训练稳定性和最终推理成绩的变化。结果显示合成数据比例并不是越高越好。在一开始的阶段合成数据能显著加速模型的推理能力成形因为它在模型面前摆出了更清晰的任务形态。但比例一旦超过某个阈值模型的输出多样性就会下降开始出现“偷懒”现象——只想着复现数据里的最优路径而不是自己去探索新的解题方法。这个现象其实用“探索与利用”的框架很好解释。RL训练本质上就是在探索与利用之间找平衡。合成数据相当于告诉模型“这些路是走得通的”它加快了利用的过程但同时也抑制了探索的动力。小米的实验发现在训练前中期把合成数据的比例控制在一个相对较低的区间比如30%左右模型的探索意愿更强虽然前期表现平平但训练后期反而能跑出更漂亮的曲线。这个结论和我之前在某个小规模试验里的观察是一致的——你把正确答案喂得太勤快模型就会变得“懒”。更有意思的是数据策略的时间维度。MiMo-V2.6不是从头到尾用同一份数据而是随着训练进程动态调整数据的构成前期以通用对话数据为主让模型在广泛的语义空间中保持探索活力中期加入更多数学和代码任务数据把探索方向引导到推理密集的领域后期则引入了一批训练过程中模型自己生成的难点数据相当于针对弱项进行定点强化。这个“课程学习”的思路虽然单看每一步都不新鲜但组合在一起并能咬合60k步的长周期训练本身就是一个非常系统性的大工程。2.2 算法选型GRPO与RLOO的取舍逻辑算法选择这块MiMo-V2.6实验了两种主流策略优化方法——GRPO和RLOO也顺带实验了Calibrated DPO这类偏静态的偏好对齐方法。整体结论很直接GRPO在7B模型上的表现优于RLOO而且在训练稳定性上优势明显但这也并不意味着GRPO可以无脑套用。GRPO的全称是Group Relative Policy Optimization它的特点是去掉了传统PPO里的Critic网络改用一个采样组内的相对优势来估计策略更新方向。这带来的直接好处是显存占用的大幅下降训练管线大大简化。对于7B级别的模型GRPO的组内采样让每一条样本都能参与策略梯度的计算效率比单样本估优的RLOO要高很多。但GRPO的“相对优势”设计也埋了一个隐患。因为优势值是在一个采样组内部计算的它的数值分布强烈依赖组内样本的多样性。如果模型已经收敛得很好组内每个样本都很优秀优势值就会普遍趋近于零策略更新变得绵软无力。这正是MiMo-V2.6在训练后期效果出现平台期的原因之一。报告里他们也尝试了调整组大小和奖励校准方式来缓解这个问题。我个人的实操经验是用GRPO时一定要监控组内优势值的分布情况。如果发现所有序列的优势都在零附近波动说明模型已经不再从群体对比中获取有效信号了。这时候与其硬跑GRPO不如切换到RLOO这种绝对奖励基线的方式或者通过增加正则项来强制模型保持一定的探索概率。MiMo-V2.6在实验中也发现了类似现象他们在训练后期对奖励做了重新校准保证了优势函数的动态范围没有被压缩到无法学习的地步。这种“算法切换”思路我认为是比单一算法调参更有效率的做法。2.3 训练时长的秘密顿悟时刻与重复陷阱MiMo-V2.6最让我觉得宝贵的地方是它完整记录了一个59,000步训练过程中的阶段性行为变化。这和大多数只看最终指标的报告完全不一样它让读者能直观地看到RL训练在时间轴上的“生命轨迹”。训练过程大体可以划分为三个阶段。第一阶段是“慢热期”大约前15k步模型的表现提升非常缓慢甚至有些时候分数不升反降。这个阶段对应的是模型在广泛探索动作空间策略还未形成稳定的路径。第二阶段是“顿悟期”约20k到45k步模型的推理能力突然出现加速提升某些任务上的得分曲线呈现近乎垂直的上升趋势。第三阶段是“重复陷阱期”45k步之后部分任务上的性能开始停滞甚至出现退化模型开始倾向于生成重复的解题模式探索行为明显减少。这个三阶段模型听起来有点像人学习新技能的过程一开始什么都不懂什么都要试经过足够多的练习后突然开窍但如果反复练习同一个内容太久又会陷入“舒适区”不再进步。RL模型虽然在机制上和人脑不同但训练过程中的行为轨迹却惊人地相似。报告对“顿悟时刻”的处理很认真不只是记录曲线还从模型行为上做了标注。在顿悟期前后模型生成的推理链长度明显变化自我纠错的出现频率也增多。这其实是探索收益的累积到了一定量级后策略网络找到一个更优区域的体现。对比蒸馏路线的模型这种顿悟带来的策略切换几乎不会出现因为蒸馏数据的分布已经固定了动作空间的上限。“重复陷阱”则是一个容易被人忽视的严重问题特别是对于超长训练来说。模型在后期陷入重复模式后如果继续训练反而会破坏之前学到的推理结构。所以小米在报告中给出了一个操作级别的建议需要在训练后期引入“数据扰动”或者动态调整奖励函数来刷新模型的探索信号而不能光靠延长训练步数来获得收益。2.4 计算预算过训练和有效样本数最后这个维度——计算预算我读的时候觉得尤其实用。它讨论的是在总计算量固定的前提下把算力更多地分配给训练步数而不是模型规模能带来什么样的收益。MiMo-V2.6做了一个时间效率的对比实验大致意思是如果控制同样的训算资源大模型在小步数下未必能打败小模型在超大步数下达到的峰值。这个洞察对于没有超强算力集群的团队来说非常关键与其执着于“把模型做大”不如先把小模型的训练时长推到足够长。报告里还用了一个“有效样本数”的概念来描述训练数据的价值衰减。当训练步数增长到一定程度后新增的每一条样本对整个策略的更新贡献会越来越弱甚至出现负贡献。这也解释了为什么60k步之后模型的提升就开始放缓——不是因为数据量不足而是因为策略已经高度收敛对新增样本的“敏感度”不够了。这时候要做的是提高样本质量、增加样本难度即要“多而广”转向“精而难”。在计算预算部分他们做了测试时计算Test-time Compute的分析也就是把“让模型生成多条候选答案再筛优”这种推理时增强和训练时的计算投入做了一个对比。结论也不意外单独的测试时增强无法替代训练时带来的策略本质提升。只能作为辅助手段在模型已具备一定能力的基础上进行微增益。3. 复现这套实验需要什么条件硬件、环境与避坑读到这里肯定有人已经跃跃欲试想在自己的环境里复现这套流程。我先说结论MiMo-V2.6本身是一个7B模型这个规模放在今天的硬件环境下不算离谱但如果你要完整跑完60k步、把报告里的对照组都做一遍需要的算力依然相当可观。先说硬件底线。单靠一块消费级显卡哪怕是24GB显存的那种跑7B模型的RL训练是不现实的。RL训练和纯SFT不一样SFT可以依赖梯度检查点技术把显存压到很低但RL里除了模型参数还要同时处理多个样本的rollout、奖励模型的推理等显存需求通常是普通微调的两到三倍。最小可行的方案是一张48GB显存的A6000或者A40配合多卡并行。如果想比较舒服地做对比实验推荐至少4张A100或H800级别的卡。软件层面如果你只是做小规模的算法验证可以直接基于HuggingFace的TRL库它已经内置了GRPO的完整实现。但如果你要做的实验规模和MiMo-V2.6相当TRL这种偏研究性的库就不太够用了需要自己组装训练管线。重点优化的部分有三块一个是rollout阶段的动态批量调度一个是优势函数计算的数值稳定性还有一个是KL正则系数的实时调整。实际运行中有几个坑是我反复踩过的这里一并写出来供参考。第一个坑是KL系数的设置。很多人直接抄GRPO论文里的默认KL系数0.04左右但在一个动辄数万步的长周期训练中这个系数非常容易让模型后期“飘”。因为随着策略和参考策略的差异越来越大KL散度的实际数值可能在某个阶段开始剧烈增长。建议把KL系数的设置从“固定值”改为“动态衰减”并且在训练日志里持续观察总KL的变化趋势一旦发现发散迹象就要及时介入。第二个坑是采样组内的奖励分布偏移。前面提到GRPO是组内相对优势它隐含的前提是同一个提示词下采样出来的多条轨迹具有可比性。如果数据里有一些提示词奖励天然波动范围很大比如某些开放式问题而另一些提示词奖励天然波动很小比如标准答案固定的数学题混在一起会导致优势估计的失真。我的处理方式是把不同任务类型分成不同的采样组去计算优势值或者对奖励做一次winsorize裁剪。第三个坑是数据回放的队尾效应。在小步数训练中数据回流的影响不明显但到了60k步这种规模训练后期打散的数据队列尾部样本已经被模型反复回放了几十遍模型的输出几乎能逐字背诵这对探索是一种致命打击。MiMo-V2.6的应对方法是定期注入新的合成数据和模型自生成数据相当于给训练环境持续加新空气。我自己复现时也会每隔固定步数做一次“数据刷新”效果立竿见影。绕开这些坑之后还需要花精力在实验记录上。RL训练的过程数据量非常大训练曲线、优势值直方图、KL散度趋势、样本平均奖励、rollout长度这些指标都要完整落盘。报告里那些曲线都不是事后补的而是实验过程中逐步沉淀的结果。如果只看最终分数很多隐藏规律根本发现不了。认真记录每一个时间点的状态才能在训练出问题时快速定位到具体环节。4. 从MiMo-V2.6的实验方法论中能带走什么看完整个报告我觉得最有价值的不是某一个具体结论而是它的“实验方法论”。这种方法论包含几个层次消融变量的选取、对比实验的设计、归一化比较的运用、以及过程数据的重要性。消融变量的选取上MiMo-V2.6避开了“换模型”“换基座”这种大而全的路线而是把RL训练本身拆成了数据、算法、时长、计算预算四个杠杆。这种拆法更接近实际训练中会遇到的问题——你不可能因为想提升模型表现就随便换一个大基座但调整数据配比、优化算法细节、延长训练时间、合理分配算力都是每天都在做的事情。对比实验的设计上它把“公平”贯彻得很好。同样是GRPO的实验它会确保数据来源一致同样是数据的实验它会确保步数是同等的。这种严谨在技术报告里看似基础实际上特别难做好因为在长周期训练里保持其他条件完全不变本身就是一件反直觉且耗时间的事。归一化比较这个概念应该是所有训练过模型的人都应该重视的。假设对比两个算法A算法的评分高1.2分但训练时长多了一倍B算法虽然评分低一些但单位算力的产出更高。如果只是单看Final Score你可能会选A但从工程角度和规模化角度B或许是更合理的选择。MiMo-V2.6把这种“单位算力收益”的计算方式写进了报告里就让整个结论的实用性高了很多。关于过程数据的价值这里值得多说几句。现在的很多团队做实验习惯性只看最终模型在几个公开Benchmark上的得分这其实是传统监督学习的评价惯性。但在RL训练中尤其长周期训练中模型的最终好坏是由整个过程中的无数决策共同堆出来的。MiMo-V2.6对“顿悟时刻”的记录对“重复陷阱”的描绘全部依赖训练过程中的细粒度Log。如果只拿最后结果去反推过程这些规律会全部隐身。还有一点值得单独拿出来说的是它对“涌现行为”的处理。报告里提到的“自我反思”“自我纠错”这类行为并不是通过直接训练目标生成的而是模型在探索中被强化出来的。这类行为在训练后期变得非常稳定本身就是长期RL训练的隐性财富。这让我想到在实际工作里不少团队为了尽早看到效果往往在模型刚有点起色时就停止了训练。但如果能再多跑一段时间或许那个真正让模型质变的“顿悟”就在下一个拐点上。从我个人的实际体会来看做RL训练最怕的不是模型不涨点而是你不知道它为什么不涨点。MiMo-V2.6这篇报告的意义就在于它把RL训练这条“Hard Road”上的关键坐标点都标了出来。我们不一定非要照搬它的全部实验设置但完全可以借用它这套拆解和记录思路去帮你梳理清楚自己的RL管线。如果你的团队正卡在“模型训不上去”的窗口期少走弯路不折腾就是最好的降本增效。