MAI-Base-2：预训练计算节省，怎样变成可靠的大规模训练？

1. 小模型要重复相似的数据，外推才更可信

把小模型训练得更久，并不一定模拟了大模型的处境。若小实验每次看到新数据，而最终训练要重复同一来源，小实验可能偏爱到了大规模才过拟合的配置。source scaling主动缩小小实验的独特样本池，同时保持各来源重复次数及TPP；它控制的是实验条件，不只是数据总量。

1. 学习率与权重衰减联合搜索，作者改用LR和LR×WD坐标，再拟合训练步数与TPP的关系；这避免把两个耦合量当成彼此独立的旋钮。
2. 这些经验关系先从小规模估计，再在中间规模验证。本站判断是：这种验证链比只公布一条最终训练曲线更能说明配方如何被选中，但不意味着其他数据和优化器可以照抄常数。

适用边界：示例中的重复次数与经验超参数关系都有条件，不能当作通用训练默认值。

Frontier Pre-training at Microsoft AI · official PDF · pp3–7; Figures 2 and 4

2. 4.2–12.3 倍是在等BPB处比较，不是实际账单

作者没有用最终两台不同大小模型的总训练计算直接宣布节省，而是在代码、问答、STEM和数学四项保留集上分别拟合BPB与训练FLOPs。以DeepSeek-V4-Pro-Base的BPB为目标，估计微软阶梯达到相同质量需要多少FLOPs，再与基线训练计算比较。BPB按字节度量，有助于跨tokenizer比较，但仍是指定文本保留集指标。

1. 拟合纳入了已经训练完成的MAI-Base-2 终点，因此匹配点位于拟合模型范围内。这个口径比把它叫外推验证更准确，也应与图 2 用于预测终点的阶梯实验分开。
2. 作者明确最终MAI-Base-2 实际使用的训练FLOPs比基线更多，并把配方效率投入更大的模型。效率提升和总支出下降是不同问题，报告未给出可推导API价格或完整训练账单的依据。

关键证据：这里的可审结论是“同一保留集质量目标下的估计训练计算更少”，不是最终模型总成本更低。

Frontier Pre-training at Microsoft AI · official PDF · pp4–5; Isolating modeling efficiency from compute

3. 全层MoE能否划算，要同时看内存和真实训练时间

微软称全层MoE此前在FLOPs上占优，却因实现开销在实际时间上不如隔层布局。新版把专家分组，为每个专家设固定token容量，用额外轮次处理溢出，并允许同组使用空闲容量；少分配内存可能意味着更多轮次，不是消除代价。通信与计算重叠、设备端元数据和批量归约减少了每专家开销。

1. MoE层MFU由 24%到 35%是局部实现结果；整次训练MFU为 21%，按每卡 2.5 PFLOPS归一，排除重计算和优化器FLOPs。goodput 89%则表示有训练进展的时间占比。
2. Muon需要完整矩阵做正交化，和分片优化器有张力；实现通过重分片及通信重叠处理。作者报告每步 165 ms、占 2.1%，理论 55 ms仍有差距，保留尾部等待、调度、负载不均和复制分配等解释。
3. 激活梯度裁剪针对局部异常，避免一小部分样本牵连整批权重梯度；还帮助追到预处理截断许可头的错误。报告把方法收益与数据诊断连起来，但没有逐项隔离最终模型全部增益。

Frontier Pre-training at Microsoft AI · official PDF · pp7–11; Figures 5–9

4. 原生视觉训练已纳入，公开可用性仍需另看

MAI-Base-2 以无编码器VLM方式原生预训练视觉。作者称独特训练token比上代约增 36%，视觉语料含 4.5T独特token，重复后视觉数据占 50T混合的 18%。独特样本量、重复曝光量和混合占比分母不同，本文保留各自单位，不反推未公布的数据明细。

1. 代码保留集是微软内部代码库；STEM、数学和问答集由供应商提供并进行去污染。它们能支持报告内BPB比较，不能替代开放任务集复现或你的业务质量评测。
2. Kimi K3、Qwen3.8 和MiMo-V2.6-Pro-RL的可用对照已后训练，DeepSeek-V4-Pro-Base则是底座。作者已注明后训练可能影响结果，不将这张表写成统一纯预训练竞赛。
3. 官方仍说模型在后训练，未来通过Foundry向可信合作伙伴许可权重是计划，不写成已公开下载或普遍可调用。训练数据知识截止为 2026-03，也不是报告发布日期。

适用边界：FieldToFit判断：这是一份有方法和工程细节的训练报告；可帮助判断实验设计，尚不能替代独立复现、应用评测或取得模型的实际条件。

Frontier Pre-training at Microsoft AI · official PDF · pp1–3 and pp11–13; Scaling Data and What’s next