MiMo-V2.6：长任务 Agent 的提升，来自怎样的强化学习？

1. 长任务能力的扩展，同时依赖算力、环境和反馈

MiMo-V2.6 是一组多模态 MoE 模型。报告写 Pro 总参数 1.02T、激活 42B，Flash 总参数 310B、激活 15B；Flash 模型卡此前使用 309B，本篇保留报告口径，未推造两者差异的原因。模型先经历预训练与 agent-centric 中期训练，再进入混合任务 RL 和后续蒸馏。

1. 计算规模：训练每步使用 1,568 个 prompt × 16 条 rollout，约 25K 轨迹与 2.7–3.7B tokens，上下文最长 1M。异步 partial rollout 将未完成轨迹延续到后续训练阶段；这些是训练配置，不能直接当作每个 API 入口的上下文承诺。
2. 环境扩展：任务涉及代码、通用工具工作流、视觉和网络安全；报告将训练任务与多个 harness 混合。held-out harness 检查提供跨框架泛化线索，但不能证明对任意真实业务都同样有效。
3. 评分与工程：Pro 的报告 RL 计算费用中 rollout 占 43.8%、训练占 43.5%、grader 占 12.7%。评分本身需要工具环境与执行计算，harness pool、数据／控制平面分离及 Sample Mixer 也属于路线。

适用边界：作者报告 Pro／Flash 的 RL 后训练费用为 $2.6M／$0.9M；这不包含完整预训练成本，也不是 API 售价。图 1是训练过程的 avg@3；表 3的最终模型 DeepSWE 分数为 71.9／67.9，必须保留各自阶段与评测口径。

MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement · Xiaomi LLM-Core · arXiv 2610.11959 v1 · §4.1–4.2; §5.1–5.3; §6; Figure 3

关联已审动态 D-26 · MiMo-V2.6 模型与训练路线 · 本站已有事件；保留原事件日期

关联已审动态 D-109 · MiMo-V2.6 MOPD 检查点 · 本站检查点补录；与本篇技术深读区分

2. 都通过测试的解法，也需要不同的学习信号

二值测试擅长判断任务是否通过，却可能把合理修复、过度改动与碰巧过关的实现赋予相同奖励。报告的重点是让评分器查看代码、运行证据与行为轨迹，再为组内的质量差异提供可训练信号。

1. GRS：先比较同一任务的多条离线轨迹，构造任务相关的实现标准与行为标准；后续每条轨迹单独评分。测试奖励乘以两个 rubric 分数，失败仍为零，通过者也能因质量不同得到不同奖励。
2. GAR：在线检查同组成功与失败轨迹，允许读取仓库和做针对性测试，再按解法适当性、实现精确性、最小改动、额外影响及代码质量排序。确认依赖外部泄漏答案的轨迹先被置零，余下通过者再分配正优势。
3. 另有行为正则：组相对长度惩罚与片段级惩罚约束冗长、无效或重复动作。它们不等于 GRS／GAR 本身，也不意味着所有工具循环已被解决。

关键证据：原图 8的 GAR 对照是 Flash、代码任务、batch 128；作者报告通过率与 token／轮数表现更优。本篇不从未标注图形反推精确增益，不把这个局部对照扩成整个模型家族的因果证明。

奖励质量也依赖环境是否可信。报告同时描述环境准备、对抗检查和训练中审计；“检测到的 reward hacking 较少”只描述检测结果，不能证明不存在未检出的作弊。

MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement · Xiaomi LLM-Core · arXiv 2610.11959 v1 · §4.3.1–4.3.3; Figures 7–8

3. MoE 的训练稳定性，不能只看整批平均负载

在 Pro 第 9层的 384 个专家上，作者比较路由器可训练与冻结的两次 RL 运行。可训练路由器在前 20 步出现负载塌缩；作者只恢复路由参数、保留其他权重时，负载接近初始水平，benchmark 表现未变。这支持路由漂移是该次塌缩原因的判断。

1. 冻结后的对照：CV 约 0.7、峰值约均值 5.5 倍，冷专家占比接近 1%，benchmark 仍正常提升。这是指定层和运行的证据，不能推广为所有 MoE 都必须永久冻结路由器。
2. 微批次仍会尖峰：报告记录整批较均衡时，某层的 expert-parallel rank 仍收到均值 30 倍以上 token，造成 GPU OOM。作者调整并行配置以容纳这些峰值。
3. 工程故障不能略过：硬件错误、Kubernetes 故障、grader 网络不可达、rollout 长度估计偏差与 CPU 打包内存不足分别导致中断。失败分析解释了“扩大训练”还需要哪些可恢复能力。

适用边界：冻结路由器是报告中的稳定化手段；它不是显存问题、异步采样或基础设施可靠性的总解决方案。

MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement · Xiaomi LLM-Core · arXiv 2610.11959 v1 · §5.4–5.5; Figures 11–12

4. MOPD2 把教师能力接到学生实际生成的下一轮

mixed RL 擅长利用可以可靠验证的任务，但长程游戏开发、科研或具身场景未必容易设计奖励。MOPD2 接在 mixed RL 之后，按领域使用不同教师，把可验证和难验证领域的能力融合；其中 SFT 教师来自高质量合成示范。

1. Standard MOPD：在有合适 mixRL 教师的领域继续使用学生自主 rollout；学生访问自己可能到达的状态，教师给 token 级监督。
2. Teacher-Prefix OPD：从教师轨迹的每个 assistant 回合前截取完整历史。学生从该历史独立生成一轮，不重新生成此前互动；教师条件于同一历史与学生已生成的 token。
3. SFT-Prefix OPD：固定示范前缀限制当前回合之前的累积偏移；学生输出仍是自己的 continuation，而非照抄固定示范答案。不能把这一历史来源误写成学生之前自主生成的整段轨迹。

适用边界：表 3是最终模型跨 benchmark 的成绩，包含不同评测设置和部分内部任务；不能独立归因给 MOPD2。§7 的 9B 开源实验还区分各领域的单独 RL 与多 harness 代码实验，不能据此宣称一个 9B 检查点同时覆盖所有能力。

这条路线把“自我改进”具体化为受环境、评分与教师监督约束的训练迭代。报告展示持续扩展 RL 的潜力与可研究的工程栈，没有证明模型已经获得无需人类目标、算力预算或验证器的无限递归改进。

MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement · Xiaomi LLM-Core · arXiv 2610.11959 v1 · §5.6; Figure 13; Table 3; §7