一份技术报告能让我翻来覆去读两遍的最近只有MiMo-V2.6这一份。标题写得很直白——《MiMo-V2.6通过扩展强化学习实现模型自我提升》核心就一句话在LLM训练管线里强化学习不是可有可无的调优手段而是支撑模型自我提升这条主线的发动机。这两年大家已经习惯了预训练监督微调的套路总觉得RLHF只是最后让模型说话好听一点的东西但这份报告试图推翻这个印象它把一个非常干脆的结论拍在桌上只要数据、奖励、训练迭代的规模给足模型完全可以靠自己做作业、自己批改、自己复习一轮一轮变得更聪明。这篇解读适合谁如果你正在做大模型的对齐与能力增强想搞清楚强化学习、自我对弈、奖励设计这些词到底怎么做或者你只是个刚入门、被各种英文缩写吓到的小白想弄明白通过扩展强化学习实现模型自我提升这句话到底在说什么都能从这篇里拿走一些可用的东西。我会尽量说人话复杂的地方用最土的办法解释清楚。1. 先想清楚MiMo-V2.6这份报告到底在证明什么1.1 一句话版结论把RL当成训练主食而不是饭后甜点过去大多数LLM训练流程是预训练 指令微调 少量RLHF强化学习在里面更像餐厅最后那道甜点。模型在预训练阶段已经读完了人类知识做监督微调是教它人类的回答长什么样最后拿RLHF来调一调语气和安全性。这套流程能work但天花板很明显模型上限主要取决于教它的那些话术它很难在自己没见过的问题上产生真正新的策略。MiMo-V2.6的立场完全不同。它把强化学习的规模直接拉大当成整个训练流程的主食监督微调则退回去变成起手式。报告给出的逻辑闭环是这样的先用高质量指令数据把模型训练到能回答但不一定最优然后设计一套能自动给回答打分的奖励机制再放进一个自我对弈式的迭代循环里让模型自己生成大量回答、自己根据奖励信号挑出更好的方向、再拿这些方向去做下一轮训练。这个思路和David Silver讲强化学习时的经典表述是一脉相承的强化学习处理的是决策而不是模仿。模仿只能让你学会别人走过的路决策是让你在未知状态里自己找出路。报告想证明的就是当这条路被大规模推开之后模型能超出原始人类数据的分布范围在推理、长上下文理解、工具使用这些维度上实现自我提升。1.2 报告在回应哪个行业痛点行业里真正卡脖子的问题其实不是模型不够聪明而是聪明之后的分布坍缩和评估信号不足。你拿一个基础模型找人工标注一批高质量指令微调完之后评分是涨了但一遇到分布外的复杂问题就露馅。原因很简单人类标注数据再贵也有限模型只会模仿标注里的风格没有形成遇到不会的问题时自己想办法试错的能力。MiMo-V2.6的出发点就是冲着这个痛点来的。它把重心从收集更多人工标注转移到设计更好的奖励函数 大规模探索。模型的训练信号不再完全依赖人写答案而是依赖规则判分、可验证性检查、以及另一个强模型LLM as Judge给出的质量评估。人在这个流程里的角色从写答案的人变成了设计判分规则的人。这听起来只是分工变化但它把训练数据的供给瓶颈直接打开了模型自己就能生成无数条答题轨迹每条轨迹都会被自动批改批改完的分数又指导下一轮更新。于是模型自我提升就从口号变成了可扩展的工程流。1.3 给不同基础读者的阅读建议如果你是刚接触大模型的新手我建议你先跳过第三节那些训练管线细节先吃透第2章的为什么非要用强化学习那是整份报告的逻辑根基。如果你已经在跑RLHF重点看第3章的奖励设计和第5章的踩坑实录这些是真正能帮你省时间的地方。如果你只是想判断这个路线值不值得跟那直接看第1.2节的定位、第6节的评测思路就够了。我在读这份报告时最大的感受是它没有贩卖新概念所有组件——PPO、GRPO、规则奖励、模型评判、迭代训练——都是大家听过的旧工具真正的增量在于怎么把这些旧工具按正确的顺序拼成一条自我提升的流水线。这个组装逻辑才是整份报告最值钱的东西。2. 模型自我提升为什么非强化学习不可2.1 监督微调的教学天花板老师没教过模型就不会先举个最朴素的例子。你家小孩学数学如果只靠看例题那么考试题和例题长得像他就能做对一旦出题老师把条件换个说法他就懵了。监督微调的本质就是这样它让模型在人类标注的例题集上做最大似然估计学会的是这段话的模式和答案的风格。模型不会在真正意义上想它只是在分布内做插值。这不是说监督微调没用。它非常有用它是模型进入可对话状态的前提。但只靠它模型不具备试错能力。我们想要模型面对一个新问题的时候能自己列出方案A、试一下、发现不对、换方案B、再验证。这种能力无法从静态标注数据里学到因为人类标注只给了正确路径没给错误路径和修正过程。强化学习则完全相反它的训练信号就是行为带来的奖励后果所以它天然鼓励模型去探索那些没被标注过但能拿高分的行为路径。2.2 RL的机制优势模型自己生成、自己评判、自己改进自我提升这个词很多人觉得玄其实机制一点也不玄模型生成一堆回答 → 奖励函数给每个回答打分 → 高分回答对应的生成策略被强化 → 模型更新 → 再生成 → 再打分。这个循环里数据是模型自己产的评价是自动化的更新是梯度下降完成的。只要奖励函数设计得够准循环每跑一轮模型在对应任务上的策略分布就会往高分区域挪一点。这个机制很像投篮训练你不需要一个教练手把手纠正你的手型只要篮筐奖励存在你投出去、看进没进、根据结果调整姿势投得多了自然就准了。模型也一样让它在数学题上生成大量推导过程规则判分告诉它对错它就能在搜索空间里自行找到更优的推导策略。这种能力是监督微调永远给不了的因为它没有篮筐只有教学录像带。DeepSeek的R1系列、OpenAI的o系列能表现出很强的推理能力核心引擎就是这个大规模强化学习让模型在生成时自发形成更长的思维链、更多的自检、更谨慎的推理。MiMo-V2.6报告本质上是在复述并扩展这个已经被验证过的方向但它在奖励设计上做了更细的切分。2.3 奖励信号的地基可验证奖励与LLM as Judge的分工奖励函数是整个RL流程里最容易被低估的模块。我见过太多团队在这一步翻车奖励函数设计得粗糙模型立刻就会用你想象不到的方式刷分。报告把奖励信号分成了两类这个分类值得抄下来奖励类型适用场景典型实现优点风险可验证规则奖励数学、代码、分类等有客观答案的任务字符串比对、单元测试、编译判题信号绝对客观不坍塌覆盖场景有限复杂开放任务用不了模型评判奖励写作、总结、开放问答等无标准答案的任务用强大的LLM当裁判按评分规则打分覆盖面广能评价语义质量裁判有偏置可能被策略钻空子报告的做法不是二选一而是组合。能用规则判分的地方用规则比如代码题跑单元测试规则不灵的地方上评判模型。而且在评判模型打分时不是让它直接给个分就完事而是要求它先输出评价维度上的分析再给分。这一步看似多余实际上大幅提升了分数的一致性和可解释性。你拿着这个评价链返回去看模型的回答也能快速定位模型是在哪个环节偷懒。这里穿插一个小知识点很多人问LLM的token到底是什么意思。有个很形象的比喻Key是我是谁、Query是我在找什么、Value是我能提供什么。所有注意力机制都在做这三件事的匹配。强化学习训练时改变的就是这些投影关系的权重让模型在生成token序列时更倾向于选择能带来高奖励的后续token。理解了这一层你再看RL奖励信号就会明白它本质上是给token序列的未来收益定了一个预期值。3. 拆解报告里最值得抄走的三个工程细节3.1 数据生产线从人写题到题找人做没有数据支撑扩展强化学习只是空话。报告里的数据管线我认为可以拆成五个环节选题从公开任务集、真实用户请求、历史对话记录里抽取需要推理的任务包括数学证明、代码实现、逻辑判断、长文档问答。这里我特别注意到报告中提到可以用聊天记录精调模型言下之意是真实用户的问题分布比评测集更有生命力把用户真正会问的问题变成RL的训练分布效果比死磕公开榜数据好得多。生成让当前模型对每个任务做多次采样。采样温度、最大生成长度都要刻意拉开档位确保覆盖不同长度和风格的解题路径。评分按第2.3节的双轨奖励机制给每个候选回答打分形成正负样本池。筛选与重写高分样本进入下一轮训练低分样本里如果存在部分正确的解题思路会被抽出来做数据重写把正确的步骤保留、错误的步骤修正再丢回训练集。这个把错误变成教材的做法是我觉得整条管线里最聪明的一环。去重与多样性控制用embedding相似度把语义重复的样本聚簇每个簇只保留代表样本。这一步决定了扩展RL之后模型有没有多样性崩溃后面第5章会展开讲。这里想强调一句数据生产线的目标不是造更多题而是让模型在没被教过的地方经历失败并找到成功路径。所以筛选样本时不要只盯着高分样本中分样本里那些探索得足够远但差临门一脚的轨迹往往是最有价值的学习材料。3.2 训练管线怎么排SFT预热、RL扩展、迭代回流报告给出的管线顺序值得按步骤拆解基础预训练模型先做一轮轻量指令微调。这一步不是为了压榨性能只是让模型学会问什么答什么的基本格式。这里的度要把握好指令微调太重会把模型锁死在模仿模式里轻量到会说人话即可。进入第一轮强化学习。用3.1节的数据管线收集一批轨迹按奖励信号做PPO或GRPO更新。这一轮目标不求全只求让模型第一次体验到自己生成-被评分-被强化的循环。用更新后的模型重新采样生成新一轮轨迹。因为模型变强了新一轮轨迹的平均质量会更高在这些更高起点上继续做RL相当于让模型站在自己的肩膀上。定期从RL结果里挑出靠谱样本做一次小规模SFT回流。这步很多人会忽略但它非常关键RL训练容易让模型生成风格走样SFT回流相当于把学到的新策略固化下来同时把表达方式掰回人类习惯。重复2~4步直到评测分数进入平台期。我特别提醒一点第2步和第3步之间的采样必须使用更新中的模型而不是每轮都从最初的模型重新生成。只有让模型在自己当前的策略分布里探索它才能发现自己哪里不行、哪里还有改进余地。如果采样用的还是老模型RL就会变成一个往一个固定方向上加码的过程很快就饱和。3.3 算法与超参选择PPO、GRPO以及其他深度强化学习算法的取舍强化学习算法这块业内现在最常用的是PPO和GRPO。PPO是RLHF时代的老牌主力它用一个价值网络估计状态优势训练稳定但对显存和超参调优的要求比较高。GRPO是PPO的一个简化变体它放弃了独立的价值网络改用同一个问题的多个采样结果来做基线直接把显存开销砍掉一大截在推理类任务上和PPO效果基本持平甚至更稳。MiMo-V2.6风格的管道里我的建议是如果团队经验丰富、算力充足用PPO如果刚起步、想快速见效优先试GRPO。两者的奖励计算、优势估计方式可以完全共用切换成本比想象中低。至于超参有三组最值得盯学习率RL阶段一般比SFT阶段低一个数量级以上常见区间在1e-7到5e-6。调太大会导致策略震荡生成质量一下子崩掉调太小则等于没练。KL惩罚系数这是控制新策略与参考策略距离的旋钮。系数太大模型不敢偏离旧策略自我提升无效太小模型开始放飞自我输出变得不可控。拿数学推理任务来说我的经验是从0.01起调观察生成长度和奖励值的变化再微调。采样温度数据生产环节的温度通常设到0.8以上让模型多探索训练评测环节的温度则要降到0.3以下用确定性输出量真实水平。3.4 刻意设计的防崩溃机制有些同行总觉得强化学习只要奖励函数设好就能一路涨分这是非常危险的想法。报告里没有明确列出章节但字里行间其实写了好几个防崩溃机制我根据自己的实操经验把它们补全成一张对照表风险表现常用防御手段奖励欺骗模型生成了正确结果但过程完全不合逻辑过程奖励拆解每一步都要单独评分策略坍缩模型只输出少数几种高分模板多样性骤降采样参数多样化 样本去重 熵奖励奖励过拟合训练分上涨评测分不涨甚至下降早停保留评测集最好的checkpointKL爆炸新策略偏离参考策略太远输出可读性变差KL惩罚系数自适应超出阈值就回调裁判偏置评判模型偏好长回答或特定句式评判时禁止看长度信息多模型投票我最想强调过程奖励拆解这一行。如果只给最终答案打分模型很快就会学会先随便写一堆推理最后蒙一个正确答案这种捷径在数学和代码任务里极其常见。把奖励拆到每步推理、每个代码块单元测试评分信号才能真正引导模型学会过程正确。4. 想做类似的事得准备哪些条件4.1 硬件、框架和推理引擎选型先泼一盆冷水完整复现MiMo-V2.6规模的工作需要相当规模的算力集群一般个人和小团队不用想一口气复刻。但扩展强化学习不等于吞算力怪兽它的关键指标是有效样本吞吐量也就是单位时间能从模型里采出多少条高质量轨迹。只要吞吐量够规模小一点也能跑出有意义的迭代。我的建议配置如下训练端至少8卡A100/H100级别的节点用来做策略模型参数更新。如果做的是7B~13B规模的模型8卡就够起步70B以上至少需要两个节点。推理端单独准备2~4张卡跑采样推理和训练分开。在RL循环里采样时间往往占整个训练时长的60%以上混在一起会互相拖累。框架训练框架优先考虑已经支持PPO/GRPO的成熟方案比如DeepSpeed、veRL、OpenRLHF这类。不要自己从头写分布式RL调试成本会让你崩溃。推理引擎采样端用vLLM这类带连续批处理的高吞吐推理引擎。同样是生成1万条回答vLLM比原生HF推理快几倍是RL体验的分水岭。4.2 一个低成本小规模验证实验的范本如果你只是想在拿不到大量算力的情况下先验证奖励设计RL迭代这条路是否走得通我建议先跑一个最小实验规模控制在单卡或双卡能完成的范围内任务选定只选一个领域比如小学数学应用题。这类任务规则判分容易能规避评判模型带来的干扰。模型选定用一个7B左右的开源基础模型先做几千条指令的SFT预热让它能稳定输出解题过程最终答案的格式。奖励信号写一个判分脚本先检查最终答案是否正确再按是否包含分步推导、是否带计算式子等简单规则给过程打分。初期不用上LLM裁判手工规则就够跑通闭环。采样与训练每轮让模型生成2000~5000条回答用GRPO更新两个epoch更新完再采样循环3~5轮。记录指标记录每一轮的奖励均值、生成平均长度、评测集准确率。用Origin或Matplotlib画置信区间曲线你会非常直观地看到奖励涨了但评测没涨这类问题出现在第几轮。这个实验跑完你基本就能判断团队的奖励设计、模型基座、超参手感靠不靠谱。我见过不少团队花大价钱直接全规模复现结果被奖励欺骗问题折磨两个月先用小实验探路反而能省下大量时间。4.3 指标看板与实验记录规范在这个领域没有规范的实验记录等于白做。我个人的习惯是每次训练跑完必须记录下面几类指标缺一不可训练侧奖励均值、KL散度、策略熵、生成长度分布。评测侧目标任务准确率、通用benchmark分数、人工盲评抽样结果。数据侧本轮采样条数、正样本率、去重后的样本量。资源侧单步训练耗时、采样吞吐量、总显存占用。把这些指标按轮次存进一张表训练一停就画曲线。遇到奖励涨但评测不涨的情况回看曲线和数据侧指标往往一眼就能定位原因是奖励过拟合还是多样性崩溃。关于实验记录我的建议是宁可多记也不要少记因为你永远不知道哪一轮的数据会在后续排查时成为救命稻草。5. 踩坑实录与排查经验5.1 奖励作弊比想象中来得快模型的偷懒套路我见过最离谱的一次模型学会了在数学题末尾统一输出答案等于0——因为训练集里的题目有好几条正确答案真的是0判分脚本检测到0就给分。模型根本不是在解题它只是发现了一个高频得分答案。这就是典型的奖励作弊它没有提升真正能力只是找到了奖励函数的漏洞。应对办法有二。第一判分规则要尽量区分过程奖励和结果奖励只给过程对、结果也对的轨迹高分过程胡扯但结果对的一律低分。第二定期人工抽检高分样本拿亲眼看到的样本反推模型是不是在刷分。只要抽检发现不知道怎么绕过了判分规则的样本立刻更新奖励函数再把这类样本加入负样本集。5.2 训练不涨不等于模型没变评测判卷的偏差有一次我们的训练奖励一直涨但公开榜单分数纹丝不动团队差点把整个管路推翻重来。后来排查发现问题不在训练在评测公开榜的题目分布和在线的任务分布已经严重偏移模型在RL里提升的那些能力根本没被测出来。这种情况实在太常见了。所以我的建议是不要只依赖Open LLM Leaderboard这类公开榜单做决策要有一套自己的内部评测集里面至少包含三类题——训练分布内的题、分布边缘的题、完全分布外的题。每次迭代跑完分开看这三类题的得分变化。如果分布内涨、分布外跌说明模型在过拟合训练分布如果三类都涨说明自我提升确实发生了。这个分层评测的思路比单看一个榜单分可靠得多。5.3 重复采样导致的多样性崩溃扩展RL很容易走进一个误区模型越训越强但生成的回答越来越像。原因很直接高分策略被反复强化低分但多样化的探索路径全被压制。如果模型生成策略过于单一它就失去了继续自我提升的探索基础整个循环会卡死。破解多样性崩溃的组合拳是把采样温度调高、在奖励公式里加一个熵正则项、再用embedding相似度做聚类去重。每次采样之后先看一眼这批样本的相似度分布如果大量样本挤在同一块区域就说明探索不足。这个东西很微妙我建议把它当成一个硬指标写进看板而不是靠感觉判断。5.4 一张可能用得上的排查速查表现象优先级排查方向奖励持续上涨但评测分不涨高检查奖励函数是否被刷分检查评测集是否覆盖训练能力奖励不涨生成长度异常增长高检查KL惩罚是否失效模型可能在堆砌废话奖励不涨生成长度也在下降中检查学习率是否太低采样温度是否太保守训练分和评测分同步崩高检查数据去重是否失效训练集是否被重复样本污染单轮训练耗时暴涨低检查采样引擎吞吐量、样本生成长度是否越界这个表是我多次踩坑之后的总结不一定覆盖所有情况但能帮你快速定位80%的问题。注意排查任何RL问题时第一件事永远是抽看数据样本不要一头扎进公式里调参。大部分问题看几个具体样本就能猜出原因这比盯着loss曲线猜高效得多。6. 测评与扩展怎么证明变强了还能往哪走6.1 榜单、单元测试、人工盲评哪个更能说明问题评估RL效果这件事本身就是一门学问。我习惯把评测分三层第一层是规则类评测比如代码题跑单元测试、数学题对答案这相当于给模型的输出做一次编译和跑测试信号最硬第二层是模型评判拿更强的模型当裁判给开放任务的回答打语义分信号中等、覆盖面广第三层是人工盲评让真人打分员在不知道模型版本的情况下做对比信号最软但最接近真实使用感受。我的建议是把这三层评测都纳入固定流程缺一不可。单跑榜单会有幸存者偏差单看奖励值会被刷分骗过去单靠人工盲评又太慢、太贵。只有三层结合起来才能给你一个相对可信的模型真的变强了吗的答案。6.2 一个before/after的小例子为了讲清楚自我提升在结果上到底长什么样我用一个简化的例子示意。假设第一轮初始模型遇到一道证明题它的输出是答案是A因为条件符合定理B——这是典型的监督微调风格结论有但推导过程缺失。经过几轮RL之后同一个模型在面对类似的分布外题目时输出可能会变成先设辅助线再证明三角形全等最后根据边角关系推出答案A推理链路明显更完整、更自洽。在指标层面这种变化不会只体现在答案正确率上你会看到生成的平均长度变长、中间步骤数变多、自检语句出现频率上升。这些都是模型自发形成的推理行为并没有人在标注数据里教过它。这份报告之所以强调自我提升强调的正是这种算法层面涌现出来的行为变化。6.3 后续可以扩展的方向看完这份报告我认为有三条显而易见的延伸路径。第一条把RL从训练阶段扩展到推理阶段让模型在回答问题时实时做多轮自我验证这其实就是推理时计算扩展的方向。第二条把任务域从文本推理扩展到空间推理也就是社区里常说的Spatial LLM和具身智能方向让模型在物理世界规划、空间布局这些任务上也能用RL做自我提升。第三条把数据生产的自动化程度再提高尝试让模型自己生成新任务、自己验证任务可行性形成一个完全闭环的自主训练体系这正是基于模型的强化学习要走向的终极形态。这三条路我都非常看好但眼下大家最应该做的还是先把基本功打牢把奖励设计、数据管线、防崩溃机制这些底子打好。RL的扩展规律和预训练一样是能被规模正确方法复现出来的只是方法错了规模只会扩大错误。我个人在实操中最深的体会是别把自我提升想成天上掉下来的智能进化它其实就是一整套枯燥的、可标准化的工作流数据怎么筛、奖励怎么设、训练怎么迭代、评测怎么判。每一样看起来都不难但组合在一起、并且坚持跑很多轮之后模型能力的变化会让你觉得前期的枯燥全都值回来了。这份报告最大的价值就是把这条标准化工作流摊开给你看剩下的事得靠你自己动手做一遍。