同样算力，参数与训练 token 如何分配？

问题从哪里来

2020 年 Scaling laws 描述损失随参数、数据和计算量变化的规律。2022 年 Chinchilla 指出，许多大模型相对其参数量训练得不够充分；固定训练算力下，单纯增加参数可能不如增加训练数据。

关键机制

把稠密 decoder 的训练计算近似为 C≈6ND：N 为参数量，D 为训练 token 数，6 概括前向和反向的主项。在相同 C 上选不同 N、D 并测量损失，再拟合最优分配。Chinchilla 的研究支持在其实验范围内随预算同时扩展模型与数据，不是对所有模型规定一个永久比例。

C ≈ 6 × N × D  [FLOPs]

算例与证据

教学算例：10B 参数×200B token 约为 1.2×10²² FLOPs；同一近似预算也可训练 20B×100B。公式只证明预算近似相同，不能证明两者质量相同；忽略注意力序列开销、稀疏性和硬件利用率。

收益之外的新约束

训练损失最优未必是产品全生命周期最便宜。高调用量服务可选择更小模型、训练更久，以降低每次推理成本；高质量且不重复的数据供给也会成为约束。