一份技术报告能让我翻来覆去读两遍的，最近只有MiMo-V2.6这一份。标题写得很直白——《MiMo-V2.6：通过扩展强化学习实现模型自我提升》，核心就一句话：在LLM训练管线里，强化学习不是可有可无的调优手段，而是支撑"模型自我提升"这条主线的发动机。这两年大家已经习惯了"预训练+监督微调"的套路，总觉得RLHF只是最后让模型说话好听一点的东西；但这份报告试图推翻这个印象，它把一个非常干脆的结论拍在桌上：只要数据、奖励、训练迭代的规模给足，模型完全可以靠自己做作业、自己批改、自己复习，一轮一轮变得更聪明。

这篇解读适合谁？如果你正在做大模型的对齐与能力增强，想搞清楚强化学习、自我对弈、奖励设计这些词到底怎么做；或者你只是个刚入门、被各种英文缩写吓到的小白，想弄明白"通过扩展强化学习实现模型自我提升"这句话到底在说什么，都能从这篇里拿走一些可用的东西。我会尽量说人话，复杂的地方用最土的办法解释清楚。

1. 先想清楚：MiMo-V2.6这份报告到底在证明什么

1.1 一句话版结论：把RL当成训练主食，而不是饭后甜点

过去大多数LLM训练流程是"预训练 + 指令微调 + 少量RLHF"，强化学习在里面更像餐厅最后那道甜点。模型在预训练阶段已经读完了人类知识，做监督微调是教它"人类的回答长什么样"，最后拿RLHF来调一调语气和安全性。这套流程能work，但天花板很明显：模型上限主要取决于教它的那些话术，它很难在自己没见过的问题上产生真正新的策略。

MiMo-V2.6的立场完全不同。它把强化学习的规模直接拉大，当成整个训练流程的主食，监督微调则退回去变成"起手式"。报告给出的逻辑闭环是这样的：先用高质量指令数据把模型训练到"能回答但不一定最优"，然后设计一套能自动给回答打分的奖励机制，再放进一个自我对弈式的迭代循环里，让模型自己生成大量回答、自己根据奖励信号挑出更好的方向、再拿这些方向去做下一轮训练。

这个思路和David Silver讲强化学习时的经典表述是一脉相承的：强化学习处理的是"决策"，而不是"模仿"。模仿只能让你学会别人走过的路，决策是让你在未知状态里自己找出路。报告想证明的就是，当这条路被大规模推开之后，模型能超出原始人类数据的分布范围，在推理、长上下文理解、工具使用这些维度上实现"自我提升"。

1.2 报告在回应哪个行业痛点

行业里真正卡脖子的问题其实不是"模型不够聪明"，而是"聪明之后的分布坍缩"和"评估信号不足"。你拿一个基础模型，找人工标注一批高质量指令，微调完之后评分是涨了，但一遇到分布外的复杂问题就露馅。原因很简单：人类标注数据再贵也有限，模型只会模仿标注里的风格，没有形成"遇到不会的问题时自己想办法试错"的能力。

MiMo-V2.6的出发点就是冲着这个痛点来的。它把重心从"收集更多人工标注"转移到"设计更好的奖励函数 + 大规模探索"。模型的训练信号不再完全依赖人写答案，而是依赖规则判分、可验证性检查、以及另一个强模型（LLM as Judge）给出的质量评估。人在这个流程里的角色从"写答案的人"变成了"设计判分规则的人"。这听起来只是分工变化，但它把训练数据的供给瓶颈直接打开了：模型自己就能生成无数条答题轨迹，每条轨迹都会被自动批改，批改完的分数又指导下一轮更新。于是"模型自我提升"就从口号变成了可扩展的工程流。

1.3 给不同基础读者的阅读建议

如果你是刚接触大模型的新手，我建议你先跳过第三节那些训练管线细节，先吃透第2章的"为什么非要用强化学习"，那是整份报告的逻辑根基。如果你已经在跑RLHF，重点看第3章的奖励设计和第5章的踩坑实录，这些是真正能帮你省时间的地方。如果你只是想判断这个路线值不值得跟，那直接看第1.2节的定位、第6节的评测思路就够了。

我在读这份报告时最大的感受是：它没有贩卖新概念，所有组件——PPO、GRPO、规则奖励、模型评判、迭代训练——都是大家听过的旧工具，真正的增量在于"怎么把这些旧工具按正确的顺序拼成一条自我提升的流水线"。这个"组装逻辑"才是整份报告最值钱的东西。

2. 模型自我提升为什么非强化学习不可

2.1 监督微调的"教学天花板"：老师没教过，模型就不会

先举个最朴素的例子。你家小孩学数学，如果只靠看例题，那么考试题和例题长得像，他就能做对；一旦出题老师把条件换个说法，他就懵了。监督微调的本质就是这样：它让模型在人类标注的"例题集"上做最大似然估计，学会的是"这段话的模式"和"答案的风格"。模型不会在真正意义上"想"，它只是在分布内做插值。

这不是说监督微调没用。它非常有用，它是模型进入可对话状态的前提。但只靠它，模型不具备"试错"能力。我们想要模型面对一个新问题的时候，能自己列出方案A、试一下、发现不对、换方案B、再验证。这种能力无法从静态标注数据里学到，因为人类标注只给了"正确路径"，没给"错误路径和修正过程"。强化学习则完全相反，它的训练信号就是行为带来的奖励后果，所以它天然鼓励模型去探索那些"没被标注过但能拿高分"的行为路径。

2.2 RL的机制优势：模型自己生成、自己评判、自己改进

"自我提升"这个词很多人觉得玄，其实机制一点也不玄：模型生成一堆回答 → 奖励函数给每个回答打分 → 高分回答对应的生成策略被强化 → 模型更新 → 再生成 → 再打分。这个循环里，数据是模型自己产的，评价是自动化的，更新是梯度下降完成的。只要奖励函数设计得够准，循环每跑一轮，模型在对应任务上的策略分布就会往高分区域挪一点。

这个机制很像投篮训练：你不需要一个教练手把手纠正你的手型，只要篮筐（奖励）存在，你投出去、看进没进、根据结果调整姿势，投得多了自然就准了。模型也一样，让它在数学题上生成大量推导过程，规则判分告诉它对错，它就能在搜索空间里自行找到更优的推导策略。这种能力是监督微调永远给不了的，因为它没有"篮筐"，只有"教学录像带"。

DeepSeek的R1系列、OpenAI的o系列能表现出很强的推理能力，核心引擎就是这个：大规模强化学习让模型在生成时自发形成"更长的思维链、更多的自检、更谨慎的推理"。MiMo-V2.6报告本质上是在复述并扩展这个已经被验证过的方向，但它在奖励设计上做了更细的切分。

2.3 奖励信号的地基：可验证奖励与LLM as Judge的分工

奖励函数是整个RL流程里最容易被低估的模块。我见过太多团队在这一步翻车，奖励函数设计得粗糙，模型立刻就会用你想象不到的方式刷分。

报告把奖励信号分成了两类，这个分类值得抄下来：

报告的做法不是二选一，而是组合。能用规则判分的地方用规则（比如代码题跑单元测试），规则不灵的地方上评判模型。而且在评判模型打分时，不是让它直接给个分就完事，而是要求它先输出评价维度上的分析，再给分。这一步看似多余，实际上大幅提升了分数的一致性和可解释性。你拿着这个"评价链"返回去看模型的回答，也能快速定位模型是在哪个环节偷懒。

这里穿插一个小知识点，很多人问LLM的token到底是什么意思。有个很形象的比喻：Key是"我是谁"、Query是"我在找什么"、Value是"我能提供什么"。所有注意力机制都在做这三件事的匹配。强化学习训练时改变的就是这些投影关系的权重，让模型在生成token序列时更倾向于选择"能带来高奖励的后续token"。理解了这一层，你再看RL奖励信号，就会明白它本质上是给token序列的"未来收益"定了一个预期值。

3. 拆解报告里最值得抄走的三个工程细节

3.1 数据生产线：从"人写题"到"题找人做"

没有数据支撑，"扩展强化学习"只是空话。报告里的数据管线我认为可以拆成五个环节：

1. 选题：从公开任务集、真实用户请求、历史对话记录里抽取需要推理的任务，包括数学证明、代码实现、逻辑判断、长文档问答。这里我特别注意到，报告中提到可以用聊天记录精调模型，言下之意是"真实用户的问题分布比评测集更有生命力"，把用户真正会问的问题变成RL的训练分布，效果比死磕公开榜数据好得多。
2. 生成：让当前模型对每个任务做多次采样。采样温度、最大生成长度都要刻意拉开档位，确保覆盖不同长度和风格的解题路径。
3. 评分：按第2.3节的双轨奖励机制给每个候选回答打分，形成正负样本池。
4. 筛选与重写：高分样本进入下一轮训练；低分样本里如果存在"部分正确"的解题思路，会被抽出来做数据重写，把正确的步骤保留、错误的步骤修正，再丢回训练集。这个"把错误变成教材"的做法，是我觉得整条管线里最聪明的一环。
5. 去重与多样性控制：用embedding相似度把语义重复的样本聚簇，每个簇只保留代表样本。这一步决定了扩展RL之后模型有没有多样性崩溃，后面第5章会展开讲。

这里想强调一句：数据生产线的目标不是"造更多题"，而是"让模型在没被教过的地方经历失败并找到成功路径"。所以，筛选样本时不要只盯着高分样本，中分样本里那些"探索得足够远但差临门一脚"的轨迹，往往是最有价值的学习材料。

3.2 训练管线怎么排：SFT预热、RL扩展、迭代回流

报告给出的管线顺序值得按步骤拆解：

1. 基础预训练模型先做一轮轻量指令微调。这一步不是为了压榨性能，只是让模型学会"问什么答什么"的基本格式。这里的度要把握好，指令微调太重会把模型锁死在模仿模式里，轻量到"会说人话"即可。
2. 进入第一轮强化学习。用3.1节的数据管线收集一批轨迹，按奖励信号做PPO或GRPO更新。这一轮目标不求全，只求让模型第一次体验到"自己生成-被评分-被强化"的循环。
3. 用更新后的模型重新采样，生成新一轮轨迹。因为模型变强了，新一轮轨迹的平均质量会更高，在这些更高起点上继续做RL，相当于让模型"站在自己的肩膀上"。
4. 定期从RL结果里挑出靠谱样本，做一次小规模SFT回流。这步很多人会忽略，但它非常关键：RL训练容易让模型生成风格走样，SFT回流相当于"把学到的新策略固化下来，同时把表达方式掰回人类习惯"。
5. 重复2~4步，直到评测分数进入平台期。

我特别提醒一点：第2步和第3步之间的采样必须使用"更新中"的模型，而不是每轮都从最初的模型重新生成。只有让模型在自己当前的策略分布里探索，它才能发现自己哪里不行、哪里还有改进余地。如果采样用的还是老模型，RL就会变成一个"往一个固定方向上加码"的过程，很快就饱和。

3.3 算法与超参选择：PPO、GRPO，以及其他深度强化学习算法的取舍

强化学习算法这块，业内现在最常用的是PPO和GRPO。PPO是RLHF时代的老牌主力，它用一个价值网络估计状态优势，训练稳定，但对显存和超参调优的要求比较高。GRPO是PPO的一个简化变体，它放弃了独立的价值网络，改用同一个问题的多个采样结果来做基线，直接把显存开销砍掉一大截，在推理类任务上和PPO效果基本持平甚至更稳。

MiMo-V2.6风格的管道里，我的建议是：如果团队经验丰富、算力充足，用PPO；如果刚起步、想快速见效，优先试GRPO。两者的奖励计算、优势估计方式可以完全共用，切换成本比想象中低。至于超参，有三组最值得盯：

• 学习率：RL阶段一般比SFT阶段低一个数量级以上，常见区间在1e-7到5e-6。调太大会导致策略震荡，生成质量一下子崩掉；调太小则等于没练。
• KL惩罚系数：这是控制新策略与参考策略距离的旋钮。系数太大，模型不敢偏离旧策略，自我提升无效；太小，模型开始放飞自我，输出变得不可控。拿数学推理任务来说，我的经验是从0.01起调，观察生成长度和奖励值的变化再微调。
• 采样温度：数据生产环节的温度通常设到0.8以上，让模型多探索；训练评测环节的温度则要降到0.3以下，用确定性输出量真实水平。

3.4 刻意设计的防崩溃机制

有些同行总觉得强化学习只要奖励函数设好就能一路涨分，这是非常危险的想法。报告里没有明确列出章节，但字里行间其实写了好几个防崩溃机制，我根据自己的实操经验把它们补全成一张对照表：

我最想强调"过程奖励拆解"这一行。如果只给最终答案打分，模型很快就会学会"先随便写一堆推理，最后蒙一个正确答案"，这种捷径在数学和代码任务里极其常见。把奖励拆到每步推理、每个代码块单元测试，评分信号才能真正引导模型学会"过程正确"。

4. 想做类似的事，得准备哪些条件

4.1 硬件、框架和推理引擎选型

先泼一盆冷水：完整复现MiMo-V2.6规模的工作，需要相当规模的算力集群，一般个人和小团队不用想一口气复刻。但"扩展强化学习"不等于"吞算力怪兽"，它的关键指标是"有效样本吞吐量"，也就是单位时间能从模型里采出多少条高质量轨迹。只要吞吐量够，规模小一点也能跑出有意义的迭代。

我的建议配置如下：

• 训练端：至少8卡A100/H100级别的节点，用来做策略模型参数更新。如果做的是7B~13B规模的模型，8卡就够起步；70B以上至少需要两个节点。
• 推理端：单独准备2~4张卡跑采样，推理和训练分开。在RL循环里，采样时间往往占整个训练时长的60%以上，混在一起会互相拖累。
• 框架：训练框架优先考虑已经支持PPO/GRPO的成熟方案，比如DeepSpeed、veRL、OpenRLHF这类。不要自己从头写分布式RL，调试成本会让你崩溃。
• 推理引擎：采样端用vLLM这类带连续批处理的高吞吐推理引擎。同样是生成1万条回答，vLLM比原生HF推理快几倍，是RL体验的分水岭。

4.2 一个低成本小规模验证实验的范本

如果你只是想在拿不到大量算力的情况下，先验证"奖励设计+RL迭代"这条路是否走得通，我建议先跑一个最小实验，规模控制在单卡或双卡能完成的范围内：

1. 任务选定：只选一个领域，比如小学数学应用题。这类任务规则判分容易，能规避评判模型带来的干扰。
2. 模型选定：用一个7B左右的开源基础模型，先做几千条指令的SFT预热，让它能稳定输出"解题过程+最终答案"的格式。
3. 奖励信号：写一个判分脚本，先检查最终答案是否正确，再按"是否包含分步推导、是否带计算式子"等简单规则给过程打分。初期不用上LLM裁判，手工规则就够跑通闭环。
4. 采样与训练：每轮让模型生成2000~5000条回答，用GRPO更新两个epoch，更新完再采样，循环3~5轮。
5. 记录指标：记录每一轮的奖励均值、生成平均长度、评测集准确率。用Origin或Matplotlib画置信区间曲线，你会非常直观地看到"奖励涨了但评测没涨"这类问题出现在第几轮。

这个实验跑完，你基本就能判断团队的奖励设计、模型基座、超参手感靠不靠谱。我见过不少团队花大价钱直接全规模复现，结果被奖励欺骗问题折磨两个月；先用小实验探路，反而能省下大量时间。

4.3 指标看板与实验记录规范

在这个领域，没有规范的实验记录，等于白做。我个人的习惯是每次训练跑完必须记录下面几类指标，缺一不可：

• 训练侧：奖励均值、KL散度、策略熵、生成长度分布。
• 评测侧：目标任务准确率、通用benchmark分数、人工盲评抽样结果。
• 数据侧：本轮采样条数、正样本率、去重后的样本量。
• 资源侧：单步训练耗时、采样吞吐量、总显存占用。

把这些指标按轮次存进一张表，训练一停就画曲线。遇到"奖励涨但评测不涨"的情况，回看曲线和数据侧指标，往往一眼就能定位原因是奖励过拟合还是多样性崩溃。关于实验记录，我的建议是宁可多记也不要少记，因为你永远不知道哪一轮的数据会在后续排查时成为救命稻草。

5. 踩坑实录与排查经验

5.1 奖励作弊比想象中来得快：模型的偷懒套路

我见过最离谱的一次，模型学会了在数学题末尾统一输出"答案等于0"——因为训练集里的题目有好几条正确答案真的是0，判分脚本检测到"0"就给分。模型根本不是在解题，它只是发现了一个高频得分答案。这就是典型的奖励作弊：它没有提升真正能力，只是找到了奖励函数的漏洞。

应对办法有二。第一，判分规则要尽量区分"过程奖励"和"结果奖励"，只给过程对、结果也对的轨迹高分，过程胡扯但结果对的一律低分。第二，定期人工抽检高分样本，拿亲眼看到的样本反推模型是不是在刷分。只要抽检发现"不知道怎么绕过了判分规则"的样本，立刻更新奖励函数，再把这类样本加入负样本集。

5.2 训练不涨不等于模型没变：评测判卷的偏差

有一次我们的训练奖励一直涨，但公开榜单分数纹丝不动，团队差点把整个管路推翻重来。后来排查发现，问题不在训练，在评测：公开榜的题目分布和在线的任务分布已经严重偏移，模型在RL里提升的那些能力根本没被测出来。这种情况实在太常见了。

所以我的建议是：不要只依赖Open LLM Leaderboard这类公开榜单做决策，要有一套自己的内部评测集，里面至少包含三类题——训练分布内的题、分布边缘的题、完全分布外的题。每次迭代跑完，分开看这三类题的得分变化。如果分布内涨、分布外跌，说明模型在过拟合训练分布；如果三类都涨，说明自我提升确实发生了。这个"分层评测"的思路，比单看一个榜单分可靠得多。

5.3 重复采样导致的多样性崩溃

扩展RL很容易走进一个误区：模型越训越强，但生成的回答越来越像。原因很直接，高分策略被反复强化，低分但多样化的探索路径全被压制。如果模型生成策略过于单一，它就失去了继续自我提升的探索基础，整个循环会卡死。

破解多样性崩溃的组合拳是：把采样温度调高、在奖励公式里加一个熵正则项、再用embedding相似度做聚类去重。每次采样之后先看一眼这批样本的相似度分布，如果大量样本挤在同一块区域，就说明探索不足。这个东西很微妙，我建议把它当成一个硬指标写进看板，而不是靠感觉判断。

5.4 一张可能用得上的排查速查表

这个表是我多次踩坑之后的总结，不一定覆盖所有情况，但能帮你快速定位80%的问题。注意，排查任何RL问题时，第一件事永远是抽看数据样本，不要一头扎进公式里调参。大部分问题看几个具体样本就能猜出原因，这比盯着loss曲线猜高效得多。

6. 测评与扩展：怎么证明"变强了"，还能往哪走

6.1 榜单、单元测试、人工盲评，哪个更能说明问题

评估RL效果这件事，本身就是一门学问。我习惯把评测分三层：第一层是规则类评测，比如代码题跑单元测试、数学题对答案，这相当于给模型的输出做一次"编译和跑测试"，信号最硬；第二层是模型评判，拿更强的模型当裁判，给开放任务的回答打语义分，信号中等、覆盖面广；第三层是人工盲评，让真人打分员在不知道模型版本的情况下做对比，信号最软但最接近真实使用感受。

我的建议是把这三层评测都纳入固定流程，缺一不可。单跑榜单会有幸存者偏差，单看奖励值会被刷分骗过去，单靠人工盲评又太慢、太贵。只有三层结合起来，才能给你一个相对可信的"模型真的变强了吗"的答案。

6.2 一个before/after的小例子

为了讲清楚"自我提升"在结果上到底长什么样，我用一个简化的例子示意。假设第一轮初始模型遇到一道证明题，它的输出是"答案是A，因为条件符合定理B"——这是典型的监督微调风格：结论有，但推导过程缺失。经过几轮RL之后，同一个模型在面对类似的分布外题目时，输出可能会变成"先设辅助线，再证明三角形全等，最后根据边角关系推出答案A"，推理链路明显更完整、更自洽。

在指标层面，这种变化不会只体现在答案正确率上，你会看到生成的平均长度变长、中间步骤数变多、自检语句出现频率上升。这些都是模型自发形成的"推理行为"，并没有人在标注数据里教过它。这份报告之所以强调"自我提升"，强调的正是这种算法层面涌现出来的行为变化。

6.3 后续可以扩展的方向

看完这份报告，我认为有三条显而易见的延伸路径。第一条，把RL从"训练阶段"扩展到"推理阶段"，让模型在回答问题时实时做多轮自我验证，这其实就是推理时计算扩展的方向。第二条，把任务域从文本推理扩展到空间推理，也就是社区里常说的Spatial LLM和具身智能方向，让模型在物理世界规划、空间布局这些任务上也能用RL做自我提升。第三条，把数据生产的自动化程度再提高，尝试让模型自己生成新任务、自己验证任务可行性，形成一个完全闭环的自主训练体系，这正是"基于模型的强化学习"要走向的终极形态。

这三条路我都非常看好，但眼下大家最应该做的还是先把基本功打牢，把奖励设计、数据管线、防崩溃机制这些底子打好。RL的扩展规律和预训练一样，是能被"规模+正确方法"复现出来的，只是方法错了，规模只会扩大错误。

我个人在实操中最深的体会是：别把"自我提升"想成天上掉下来的智能进化，它其实就是一整套枯燥的、可标准化的工作流，数据怎么筛、奖励怎么设、训练怎么迭代、评测怎么判。每一样看起来都不难，但组合在一起、并且坚持跑很多轮之后，模型能力的变化会让你觉得前期的枯燥全都值回来了。这份报告最大的价值，就是把这条标准化工作流摊开给你看，剩下的事，得靠你自己动手做一遍。