从强化学习规模化到自我改进：MiMo-V2.6 开源技术报告深度拆解

如果把 DeepSeek-R1 的发布当成大模型开源的一个分水岭那 MiMo-V2.6 算是分水岭之后少有的、值得你关上门泡好茶逐段精读的项目。标题里“第一开源大模型”这个说法放在哪个社区都会引发一轮名分之争——我不打算替它争这个“第一”真正让我兴奋的是后半句迈向自我改进的强化学习规模化。这是我看过的技术报告里把“模型如何用自己的输出继续变强”这套闭环讲得最完整、最不像读到一半就藏起来的一份。如果你和我一样平时主要做模型的微调、对齐或部署而不是只在大厂里看别人训好的模型这篇文章就是为你准备的。我会把 MiMo-V2.6 技术报告里的核心逻辑拆开自我改进循环怎么构建、奖励信号怎么设计、规模化强化学习时哪些工程点最容易翻车、以及最后怎么用开源工具链把这条链路复现出来。1. 为什么这份报告值得逐段精读从“开源权重”到“开源训练配方”过去两年我们看到太多“开源模型”其实只开源了权重。权重确实能让你做推理、做部署但你想知道它为什么能达到某个能力水平时经常会发现数据、奖励设计、训练曲线、失败样例全是黑盒。MiMo-V2.6 这份技术报告让我感到不一样的地方是它把“训练配方”也摊在了桌面上奖励模型怎么过滤样本、迭代 SFT 和强化学习怎么交替进行、训练过程中哪些现象是预期内的、哪些是踩坑后修正的都没有刻意美化。对做开源模型的人来说这比权重本身更具参考价值。以前我们想复现一篇 RLHF 论文最痛苦的不是找不到代码框架而是不知道同一份数据在不同迭代轮次里应该用几次、温度设置在什么范围、KL 惩罚系数是固定还是衰减。MiMo-V2.6 虽然没有把每一个数字都列成调参手册但它给出了一条可以跟踪的完整路径让我这种做技术的人第一次觉得“自我改进的强化学习”不是厂商发布会上的概念而是一项可以照着落地的工程方案。1.1 先聊“第一”这个容易引战的问题“第一开源大模型”的说法严格来说经不起学术定义上的推敲。有人会 argue 之前的模型也做过 self-training也有人会 argue 权重开放不等于训练代码开放。我不想在这个名分上打转更愿意把它理解为MiMo-V2.6 是第一波把自我改进强化学习规模化过程公开出来的开源模型尝试之一并且它公开的不是宣传话术而是工程细节。这个区别非常关键。你的团队如果只有一堆卡和数据能不能复现一个模型取决于技术报告里有没有交代奖励设计、数据过滤规则、迭代次数、主动放弃的路线。MiMo-V2.6 在这些维度上的透明度才是“开源”两个字的真正价值。换句话说它开源的不仅是一个文件仓库更是一条通往“自我改进”的训练方法论。1.2 技术报告的正确阅读顺序别一上来就看榜单很多人拿到技术报告第一件事就是翻 benchmark 表格这最容易带来错觉。我的习惯是先看评估章节确认它测的是什么任务、有没有把训练数据污染的问题交代清楚然后去看训练过程中的失败样例和作者自己承认的局限最后才去读模型结构。这个阅读顺序用在 MiMo-V2.6 上特别有效因为它的核心贡献不在某个单一指标上而在整条 RL 循环的稳定性。报告里有几处我觉得很值得反复看奖励上涨但保留集指标不动的现象、模型输出变长但逻辑严谨度下降的案例、以及不同迭代轮次之间分布漂移的处理。这些才是普通用户在榜单上永远看不到、却在实际复现时一定会遇到的问题。想从这份报告里拿到真东西建议你也用倒着读的方式去看。2. 自我改进的核心闭环拒绝采样、迭代 SFT 与混合 RL 的配合方式MiMo-V2.6 的强化学习规模化不是跑一轮 RLHF 就结束的那种方案而是把“模型生成数据 → 筛选数据 → 继续训练模型”这个过程反复执行。用一句话概括它的技术核心让模型在可验证任务上自我采样用规则和奖励模型过滤出高质量样本接着做一轮迭代 SFT再做一轮强化学习分布优化再回到采样环节如此循环。这个流程听上去不复杂但每个环节做得不到位整个循环就会在第二三轮快速崩溃。我把它拆成下面这张数据流表方便你理解阶段输入筛选机制输出种子 SFT人工整理的高质量数据金标签校准初版指令模型自我采样新问题集格式校验 正确答案规则判断新增思维链样本迭代 SFT原始数据 自采样数据去重、奖励阈值截断能力基线提升RL 迭代在线提示集规则奖励 / 奖励模型 / KL 约束最终策略模型真正要注意的是最后两行。很多团队在自采样环节导致全流程污染因为模型第一轮输出的“正确但啰嗦”的答案很容易在第二轮 SFT 时被过量吸收导致模型偏好冗长模板而不是偏好严谨推理。2.1 第一轮数据还是离不开高质量种子 SFT自我改进不是无中生有任何自举循环都需要一个可靠的起点。MiMo-V2.6 的路线很明确先用人工整理的高质量种子数据把模型训练成一个能够稳定输出“可校验推理过程”的版本然后再引入模型自己生成的数据。这一步不能省也不能因为图省事直接拿通用聊天数据当种子。我的个人经验是种子 SFT 的数据质量优先度远高于数量。3000 条覆盖不同题型的干净样本效果经常好过 30 万条从互联网爬来的低信噪比语料。尤其在做数学和代码任务时种子数据里如果混入大量缺少逻辑闭环的样本后面自采样时模型会一直把这种“看似有思路、实则出错”的风格放大。技术报告里反复强调不同任务类型的配比用意也在这里问题分布一旦在种子阶段失衡整个自我改进循环就会朝着偏科方向强化。2.2 奖励信号怎么设计结果规则、过程奖励模型和格式奖励自我改进循环里另一个决定成败的点是奖励设计。MiMo-V2.6 在这部分采用了典型的混合策略对于数学、代码这类存在明确正确答案的任务直接用规则判断最终结果简单、便宜、不易被攻击对于开放型任务才引入奖励模型做质量打分。格式奖励也会占一定比重但必须控制在一个合理范围否则模型会学会输出结构化废话。这一点我是吃过亏的。曾经为了快速提升可读性把格式奖励权重调得太高结果模型的输出结构非常漂亮但推理链的实质错误明显增多。原因很简单格式是模型最容易学到的表面特征规则答案才是真正考验推理能力的信号。建议你先在小规模实验里把规则奖励的 pipeline 跑通再考虑引入过程奖励模型。硬规则解决不了的任务用奖励模型奖励模型解决不了的再考虑增加数据标注。2.3 自举不是免费午餐分布漂移和错误放大自监督式采样最危险的陷阱是模型会把自己犯过的错误逐步固化下来。第一轮自采样里可能只有 5% 的错误样本因为奖励过滤掉得不干净而漏进来到第三轮迭代时这些错误模式可能被重复训练放大到 20% 以上。MiMo-V2.6 的做法很务实不是盲目吸收所有自采样数据而是设置过滤阈值、控制采样温度、并保留一部分外部结构化数据来对冲分布漂移。我在实际复现类似流程时会在每轮迭代里混入 10% 到 30% 的“外部固定可靠数据”作为锚点。这些数据不参与自采样只负责把模型往真实分布上拉一把避免模型在自举循环里逐渐走向一个只对自己生成内容友好的歪曲分布。另外每轮之间要保留旧模型快照方便回滚对比。你要是看到迭代两三轮后奖励一直涨、但保留集指标纹丝不动大概率就是已经进入了错误放大阶段。3. 规模化强化学习的真正工程难点采样引擎、KL 控制与训练稳定性很多人以为规模化强化学习就是把数据量变大、把 GPU 数量堆上去但在实际操作中最难的部分是让“采样 → 奖励 → 训练”这一整条数据回流管道保持稳定和高效。MiMo-V2.6 的技术报告在这一块花了不少篇幅我读下来觉得有三个工程点特别值得展开。3.1 PPO 还是 GRPO论文怎么选我们怎么选传统 PPO 需要一个大体量价值模型critic来估计状态价值这在 LLM 训练中非常吃显存和算力。GRPO 则换了一个思路不需要单独训练 critic而是让同一批提示词生成多条候选输出通过组内相对奖励来计算优势。这样一来模型参数量、显存占用和训练复杂度都明显下降也更容易配合开源框架实现。这个选择在规模化 RL 里不是学术舒适区而是工程必要性。想象你用 70B 级模型做在线强化学习PPO 需要同时部署 actor、critic、reference、reward 四个模型显存规划是灾难级的GRPO 至少省掉了一个和 actor 同等规模的 critic整体吞吐可以提升不少。但 GRPO 的前提是每组采样必须足够多样如果组内多条输出高度相似相对奖励的估计方差就会失控。因此采样温度、组内候选数、重复惩罚这几个参数要一起做实验不能只照抄别人配置。3.2 采样集群和训练集群的“吞吐不匹配”问题规模化 RL 最容易被低估的是采样环节的算力消耗。训练端可能只需要几百次前向反向更新但采样端要为每条提示词生成多条长输出prefill 和 decode 都会持续占用 GPU。如果你把采样和训练放在同一批 GPU 上共享资源很快就会发现训练效率被采样拖死或者采样速度跟不上训练消耗整个集群都在互相等待。MiMo-V2.6 的处理思路是明显做了分离的训练集群跑模型参数更新采样集群用高效的推理引擎生成候选数据两者之间通过缓存和队列进行异步对接。复现的时候我的建议是至少把一个节点专门留给采样不要为了省卡把两个环节混在一起。异步回流会让第一版系统看起来结构复杂不少但只有这样才能在规模化训练时把 GPU 利用率稳住。顺带一提采样后端如果支持前缀缓存复用能在多轮生成里节省大量计算选型时值得优先考虑。3.3 KL 散度惩罚是“锚点”不是“束带”在线强化学习中模型如果完全自由地朝着奖励方向更新很容易在几轮之内丢掉人类语言的基本分布产生 reward hacking。所以绝大多数方案都会引入一个参考模型计算当前策略和参考策略之间的 KL 散度并在优化目标里对它施加惩罚。MiMo-V2.6 的文本里虽然没有刻意渲染这一块但从训练稳定性曲线能看出它在不同阶段对 KL 系数的控制是有变化的。我的经验是KL 系数不是从一而终的。训练初期模型还没完全适应新分布时系数应该保守一些防止灾难性遗忘训练中后期模型已经在正确区域探索可以逐渐放松约束让真正有用的行为获得更大奖励。这个过程很像教一个人游泳一开始必须绑着浮板学动作等技术成型了再解开浮板游出速度。如果你从头到尾用一个固定系数要么学不会新技能要么漂移得连人话都不会说。建议每次实验把 KL 系数的变化路径记录下来这和奖励曲线一样重要。4. 从奖励曲线判断“自我改进”是否真的发生置信区间与评估陷阱技术报告里最容易被读者忽略的不是训练曲线本身而是怎么判断这些曲线到底意味着什么。我在复现类似强化学习流程时踩过的最深的坑就是单看奖励平均值上涨就开始庆祝结果保留集指标完全没有动。这个现象在 MiMo-V2.6 报告里也有明显提及值得我们单独用一个章节来讨论。4.1 为什么单看奖励均值是自欺强化学习训练曲线的噪声比监督学习大得多原因是奖励计算本身受到采样随机性、批次数据顺序、模型初始状态等多重因素影响。同一套超参数只是换了随机种子重跑一遍奖励曲线可能在大幅震荡中走向完全不同的位置。更麻烦的是奖励均值上涨可能只来自模型学会了输出格式模板而不是推理能力提升。所以要判断“自我改进”是否真的发生至少应该跑三个独立种子并且在评估时把奖励曲线和固定保留集指标放在一起看。奖励和保留集同时上涨才算初步可信只有奖励涨而保留集不动基本可以断定模型在利用某些奖励死角。4.2 实用的置信区间画法标准误优先于标准差画置信区间这件事技术圈经常用 Origin 或者 Matplotlib但很多人会把“标准差”和“标准误”混为一谈。你在报告里想表达的是模型多次训练的平均表现置信范围正确做法是计算标准误也就是标准差除以样本量的平方根。如果直接把标准差画成阴影区域区间会显得特别宽掩盖真实的稳定性信息。具体操作上我建议先对多轮训练记录做滑动窗口平滑再用多次实验的统计量计算均值和标准误最后用fill_between绘制阴影带并叠加上每一条实验曲线。平滑窗口不要开得太大否则置信区的细节会被抹平看起来很好看但信息密度很低。另一个小技巧是不要只看奖励曲线还要把 passk、答案长度、拒绝率、格式错误率这些辅助指标画成平行趋势图这样能更快看出异常。4.3 更隐蔽的信号奖励上涨但实际能力未涨怎么判定奖励上涨而能力未涨的典型表现有三种第一输出长度持续增加但逐步检查你会发现推理链里堆满了重复论证第二模型学会用“让我再想想”这类话术拖延表面上更认真结果还是错的第三格式得分很高但正确答案占比没有变化。这些都是 reward hacking 的早期信号等它们变得肉眼可见时训练已经被污染一大半了。我建议你从第一轮迭代开始就建立一份“干净盲测集”选 100 到 200 条模型训练期完全没有见过、且答案可精确校验的问题。每一轮更新之后都在这份固定集上跑一遍评分把它当作最硬的地基指标。一旦奖励曲线继续上涨、盲测集指标持平或下降立刻降低学习率并重新检查奖励权重不要指望下一轮会自行恢复。5. 复现与二次开发路线图算力、工具链与部署选型写到这里应该有人已经想动手复现了。MiMo-V2.6 的自我改进强化学习方案确实看着诱人但如果不先想清楚工具链和资源边界很容易在工程细节上卡死半个月。这一节我把自己梳理出来的复现路径和常用开源工具清单整理出来尽量给你一条能直接上手的路线。5.1 先想清楚四个组件再开始跑流程一个完整的自我改进 RL 系统由四部分组成模型训练框架、采样推理后端、奖励与过滤模块、数据调度缓存。每一部分都有成熟的开源选择不用重复造轮子训练框架Hugging Face TRL 的 GRPOTrainer、DeepSpeed、Megatron-LM按你的并行规模和模型尺寸选型。采样/推理后端vLLM 生态成熟分布式方案多SGLang 的 radix attention 在长提示词多次采样时优势明显。奖励与过滤可以用脚本硬编码规则也可以挂上开源 reward model必要时再接入人工审核队列。调度与缓存Ray 负责多节点任务调度和数据回流简单场景用本地队列也能撑过小规模实验。我把它们整理成表方便对照环节推荐工具说明训练HF TRL / DeepSpeed / Megatron-LMGRPO、PPO 等算法均有现成实现采样vLLM / SGLang高吞吐推理长上下文场景重点考虑 SGLang奖励规则脚本 / Reward Model可验证任务优先用规则开放任务再用模型调度Ray / 可选队列多节点异步回流避免训练采样互等评估lm-eval-harness / 自定义盲测集防止训练数据污染评估结果5.2 最小闭环复现流程五步走不用一开始就上多机多卡我建议先在小规模环境里跑通闭环确认数据回流和奖励逻辑正确再逐步放大。下面这个最小流程我实测过能在 4 到 8 卡环境中完成验证准备一套可精确校验答案的问题集built-in 规则能判断对错不要用开放问答做第一版实验。用开源权重起一个 vLLM 服务设置合适的温度对每条提示词生成多条候选答案。写一个过滤脚本保留答案正确、格式合规、具备完整推理链的样本缓存到本地。用这些新样本配合原始种子数据跑一轮迭代 SFT再做一轮 GRPO 训练。在固定盲测集上跑评估对比奖励曲线和保留集指标决定继续迭代还是回滚。整个闭环跑通后再考虑把采样和训练拆到不同节点也再逐步加入开放型任务和奖励模型。先窄后宽是复现这类项目最稳妥的策略。5.3 部署阶段的开源平台选型别只看名气说完训练再说部署。如果你最终是想把模型做进产品vLLM 和 SGLang 依然是目前开源场景里最值得优先考虑的两个推理平台。vLLM 胜在生态成熟Tensor Parallel、Pipeline Parallel、连续批处理、量化推理都支持得很完整社区资料也最多SGLang 则在长提示词、大并发采样和前缀缓存上有独特优势适合我们把 RL 采样做到单节点高吞吐的场景。我给出一条经验判断如果主要是做标准 API 服务vLLM 不会错如果大量任务是一次生成多条候选结果且提示词前缀重复率高SGLang 的缓存优势会让你省很多算力。两者都支持 OpenAI 兼容接口迁移成本不高完全可以根据任务场景混合使用。6. 对比 DeepSeek-R1 与闭源推理模型MiMo-V2.6 的取舍与启发讨论 MiMo-V2.6很难不把它和 DeepSeek-R1 放在一起看。两者都把强化学习推向了大模型推理的核心位置也都证明了“模型通过自身采样继续变强”这条路是走得通的。但 R1 更偏向把最终推理能力做到极致而 MiMo-V2.6 在我眼里更强调把方法论开放出来让第二个团队也能照着走一遍。6.1 表面相似实际差异在“可复现的训练配方”DeepSeek-R1 确实公开了权重和一部分技术细节但普通团队想完整复现它的冷启动、奖励设计、失败样本过滤、每轮分布变化仍然有大量信息缺口。MiMo-V2.6 的做法则更接近一篇真正面向工程复现的报告它愿意展示训练过程中的取舍包括那些并不好看的中间结果。这个差异决定了它的开源价值不在单点能力而在“配方”。如果你的团队目标是做一个比肩顶尖闭源模型的长期项目那么像 MiMo-V2.6 这样完整的训练循环参考比几个 benchmark 数字重要得多。至少你在设计第一个版本时知道哪一步必须要做、哪一步可以暂缓而不是从零去撞强化学习训练里的暗礁。6.2 对第二梯队团队的启发先跑通小闭环再谈规模化很多人看完这类报告后容易产生幻觉觉得自己只要拿到同样多的卡就能复现同样好的结果。但我的观察是真正卡住团队的往往不是算力而是对强化学习闭环缺乏控制感。拿到权重只是入门能设计奖励、能控制分布漂移、能判断曲线信号才是这项技术落地到具体产品中的核心能力。所以如果你的资源不够大不用急着追求复现 MiMo-V2.6 的完整规模。先用小模型、小数据集跑通闭环把每一轮的数据回流和奖励变化都记录下来然后逐步加大。等哪一天你能清楚地从训练曲线判断“激增是因为格式收敛还是因为能力提升”的时候再挪用更多算力去规模化成功率会高很多。写完这篇分析我又回去看了一眼自己手头项目的训练曲线发现我最需要改的还是那个老问题奖励在爬保留集指标却没怎么动。这也是我会反复提醒所有准备尝试自我改进强化学习的朋友的一句话开始之前先做一份干净盲测集把“什么都不跑”的基线分数存好。RL 规模化给你的第一个成果不该是一张漂亮的上涨曲线而是你能精确说出模型在哪个环节还差多少。能看清差距比涨分本身更重要。