大模型技术演进

训练

已有下列具体披露；其余实现仍未知。

reasoning_rl-o1 · 当前卡片披露推理强化学习（Sol通过明确引用）；关联RL路线，不指定优化器。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

§2 Model Data and Training · 相关正文已核 · 核对 2026-10-23

推理

已有下列具体披露；其余实现仍未知。

thinking-internal · 内部思考与回答分开；不把提示词CoT与训练过程等同。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

§2 Model Data and Training · 相关正文已核 · 核对 2026-10-23

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

训练

已有下列具体披露；其余实现仍未知。

reasoning_rl-o1 · 当前卡片披露推理强化学习（Sol通过明确引用）；关联RL路线，不指定优化器。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

§2 Model Data and Training · 相关正文已核 · 核对 2026-10-23

推理

已有下列具体披露；其余实现仍未知。

thinking-internal · 内部思考与回答分开；不把提示词CoT与训练过程等同。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

§2 Model Data and Training · 相关正文已核 · 核对 2026-10-23

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

训练

有原则引导后训练概述；具体配方未披露。

post-opus55 · 原则引导的大量后训练；不指定未披露的优化器。

不等于当前型号采用旧CAI论文的全部步骤。

Claude Opus 5.5: training methodology · 相关正文已核 · 核对 2026-10-23

推理

已有下列具体披露；其余实现仍未知。

thinking-adaptive · 自适应思考始终开启，由effort调节深度，不支持旧手动预算。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

New model / Breaking changes · 相关正文已核 · 核对 2026-10-23

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

训练

当前材料未确认具体实现；未连线不代表未采用。

推理

当前材料未确认具体实现；未连线不代表未采用。

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

训练

当前材料未确认具体实现；未连线不代表未采用。

推理

当前材料未确认具体实现；未连线不代表未采用。

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

训练

已有下列具体披露；其余实现仍未知。

moe-sparse · 明确为稀疏MoE Transformer，支持原生多模态。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

Architecture · 相关正文已核 · 核对 2026-10-23

reasoning_rl-o1 · 训练使用多步推理、解题及定理数据的RL。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

Training Dataset · 相关正文已核 · 核对 2026-10-23

推理

当前材料未确认具体实现；未连线不代表未采用。

系统（推训）

已有下列具体披露；其余实现仍未知。

system-argon · TPU、JAX与ML Pathways明确用于训练。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

Hardware / Software · 相关正文已核 · 核对 2026-10-23

训练

已有下列具体披露；其余实现仍未知。

post-glm53 · 沿用5.2底座，改进来自后训练。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

Introduction: GLM-5.3 · 相关正文已核 · 核对 2026-10-23

推理

当前材料未确认具体实现；未连线不代表未采用。

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

训练

已有下列具体披露；其余实现仍未知。

hybrid-glm53flash · 新底座采用稀疏／线性混合注意力和mHC。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

Introduction: GLM-5.3-Flash · 相关正文已核 · 核对 2026-10-23

repr-mhc · 官方明确列出mHC；仅映射该技术身份。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

Introduction: GLM-5.3-Flash · 相关正文已核 · 核对 2026-10-23

推理

已有下列具体披露；其余实现仍未知。

hybrid-glm53flash · 同一结构在求解时结合递归状态与稀疏访问。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

Introduction: GLM-5.3-Flash · 相关正文已核 · 核对 2026-10-23

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

训练

当前材料未确认具体实现；未连线不代表未采用。

推理

已有下列具体披露；其余实现仍未知。

context-csa2 · Full、Reindex、Reuse控制跨层共享与索引重算。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

§2.3–2.3.1 · 相关正文已核 · 核对 2026-10-23

系统（推训）

已有下列具体披露；其余实现仍未知。

context-csa2 · 共享主KV和索引键减少缓存；索引复用减少重复计算。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

§2.3.1 · 相关正文已核 · 核对 2026-10-23

训练

当前材料未确认具体实现；未连线不代表未采用。

推理

当前材料未确认具体实现；未连线不代表未采用。

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

训练

已有下列具体披露；其余实现仍未知。

hybrid-k3 · KDA与Gated MLA按3:1组合，末尾另有全局层。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

§2.1 · 相关正文已核 · 核对 2026-10-23

推理

已有下列具体披露；其余实现仍未知。

hybrid-k3 · 递归状态更新与全局访问互补；不等同纯线性模型。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

§2.1 · 相关正文已核 · 核对 2026-10-23

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

训练

已有下列具体披露；其余实现仍未知。

hybrid-q38 · 列明Gated DeltaNet、Gated Attention、MoE和多步MTP。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

Model Overview · 相关正文已核 · 核对 2026-10-23

推理

已有下列具体披露；其余实现仍未知。

thinking-adaptive · reasoning_effort调节思考；保留思考历史，但不声称与Claude内部算法相同。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

Highlights / API Usage · 相关正文已核 · 核对 2026-10-23

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

训练

当前材料未确认具体实现；未连线不代表未采用。

推理

当前材料未确认具体实现；未连线不代表未采用。

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

训练

当前材料未确认具体实现；未连线不代表未采用。

推理

当前材料未确认具体实现；未连线不代表未采用。

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

训练

当前材料未确认具体实现；未连线不代表未采用。

推理

当前材料未确认具体实现；未连线不代表未采用。

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

训练

当前材料未确认具体实现；未连线不代表未采用。

推理

已有下列具体披露；其余实现仍未知。

context-msa · 分块筛选稀疏注意力。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

MSA · 相关正文已核 · 核对 2026-10-23

系统（推训）

已有下列具体披露；其余实现仍未知。

context-msa · KV外循环聚合查询，减少重复读取。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

MSA · 相关正文已核 · 核对 2026-10-23

训练

已有下列具体披露；其余实现仍未知。

post-wonder · 官网明确扩展预训练与强化学习；不指定具体RL优化器。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

Scaling Toward Personal Superintelligence · 相关正文已核 · 核对 2026-10-23

推理

当前材料未确认具体实现；未连线不代表未采用。

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

训练

已有下列具体披露；其余实现仍未知。

post-wonder · 官网明确扩展预训练与强化学习；不指定具体RL优化器。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

Scaling Toward Personal Superintelligence · 相关正文已核 · 核对 2026-10-23

推理

当前材料未确认具体实现；未连线不代表未采用。

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

训练

当前材料未确认具体实现；未连线不代表未采用。

推理

当前材料未确认具体实现；未连线不代表未采用。

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

训练

当前材料未确认具体实现；未连线不代表未采用。

推理

当前材料未确认具体实现；未连线不代表未采用。

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

训练

当前材料未确认具体实现；未连线不代表未采用。

推理

当前材料未确认具体实现；未连线不代表未采用。

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

训练

已有下列具体披露；其余实现仍未知。

agent-k2 · 多环境工具任务RL，结合单测、模型判断与静态检查；不表示采用Kimi配方。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

Reinforcement learning at scale · 相关正文已核 · 核对 2026-10-23

推理

当前材料未确认具体实现；未连线不代表未采用。

系统（推训）

已有下列具体披露；其余实现仍未知。

system-ml4 · 采样actor与训练异步执行，控制策略陈旧。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

Reinforcement learning at scale · 相关正文已核 · 核对 2026-10-23

训练

已有下列具体披露；其余实现仍未知。

train-ernie5 · 统一next-group-of-tokens目标和模态无关专家路由。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

§2–2.1 · 相关正文已核 · 核对 2026-10-23

推理

当前材料未确认具体实现；未连线不代表未采用。

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

训练

已有下列具体披露；其余实现仍未知。

moe-sparse · 官方明确MoE稀疏架构；具体路由策略未据此确定。

仅证明所述机制／应用，不证明采用历史节点的全部实现或权重。

核心能力与技术参数 / Architecture · 相关正文已核 · 核对 2026-10-23

推理

当前材料未确认具体实现；未连线不代表未采用。

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

训练

当前材料未确认具体实现；未连线不代表未采用。

推理

当前材料未确认具体实现；未连线不代表未采用。

系统（推训）

当前材料未确认具体实现；未连线不代表未采用。

2017-06-12 · Transformer · 方法研究

注意力架构 · Transformer

当时的瓶颈

循环依赖限制训练并行，长距离信息传播路径较长。

关键机制

用注意力替代循环依赖，在同一层并行处理训练位置。

证据与条件

2017论文提出纯注意力序列转换架构；训练并行并不消除生成时的自回归依赖。

新约束

全注意力的序列长度平方成本和自回归生成串行性仍然存在。

原始资料与对应内容

原始资料：方法与结果

• Attention Is All You Need · 2017-06-12 · 核对 2026-10-21

关系

• 替代路线 · BERT

  双向编码与因果生成采用不同注意力可见范围和目标。

  • BERT · 2018-10-11 · 核对 2026-10-22
  • Attention Is All You Need · 2017-06-12 · 核对 2026-10-21

2020-01-23 · Scaling laws · 方法研究

规模规律 · Scaling Laws

当时的瓶颈

缺少在参数、数据与算力之间分配预算的经验依据。

关键机制

拟合损失随模型、数据与训练计算变化的幂律，讨论固定预算下的分配。

证据与条件

2020研究建立可测量的规模规律；其数据范围和分配结论后来被新的训练实验重新检验。

新约束

拟合规律依赖数据与实验区间，不能当作无限外推定律。

原始资料与对应内容

原始资料：方法与结果

• Scaling Laws for Neural Language Models · 2020-01-23 · 核对 2026-10-21

关系

• 改进 · Chinchilla

  重新估计固定预算下参数与数据分配。

  • Training Compute-Optimal Large Language Models · 2022-03-29 · 核对 2026-10-21

2020-05-28 · GPT-3 · 型号实践

规模化预训练 · OpenAI · GPT-3

当时的瓶颈

每个新任务微调需要额外标注与模型更新。

关键机制

扩展自回归语言模型，任务通过上下文中的指令和示例指定，评估时不更新梯度。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

提示敏感性、数据污染和大模型部署成本仍存在。

原始资料与对应内容

摘要：方法与适用边界

• Language Models are Few-Shot Learners · 2020-05-28 · 核对 2026-10-22

关系

2022-03-29 · Chinchilla · 方法研究

计算最优配比 · Chinchilla

当时的瓶颈

在固定算力下，一些大模型参数多但训练token不足。

关键机制

在固定训练预算内联合选择参数量和训练token，增加数据投入。

证据与条件

2022研究比较多种参数／数据配置，指出很多模型相对其大小训练不足；结论不是永久固定比例。

新约束

训练最优不包含全部部署成本，更多高质量token也不一定可得。

C ≈ 6ND
N: parameters · D: training tokens

原始资料与对应内容

原始资料：方法与结果

• Training Compute-Optimal Large Language Models · 2022-03-29 · 核对 2026-10-21

关系

• 改进 · Scaling laws

  重新估计固定预算下参数与数据分配。

  • Training Compute-Optimal Large Language Models · 2022-03-29 · 核对 2026-10-21
• 替代路线 · LLaMA

  固定训练预算最优与生命周期推理成本最优不是同一目标。

  • Training Compute-Optimal Large Language Models · 2022-03-29 · 核对 2026-10-21
  • LLaMA · 2023-02-27 · 核对 2026-10-22

2023-02-27 · LLaMA · 型号实践

更多数据训练 · Meta · LLaMA

当时的瓶颈

只优化训练预算可能留下昂贵的部署模型。

关键机制

在较小参数模型上训练更多token，把训练成本与长期推理成本一起考虑。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

需要更多数据和训练时间；不是固定训练预算下唯一最优点。

原始资料与对应内容

Introduction / training efficiency

• LLaMA · 2023-02-27 · 核对 2026-10-22

关系

• 替代路线 · Chinchilla

  固定训练预算最优与生命周期推理成本最优不是同一目标。

  • Training Compute-Optimal Large Language Models · 2022-03-29 · 核对 2026-10-21
  • LLaMA · 2023-02-27 · 核对 2026-10-22

2017-01-23 · Sparsely-gated MoE · 方法研究

稀疏专家路由 · Sparsely-gated MoE

当时的瓶颈

增加容量通常同时增加每token计算。

关键机制

门控只激活少量专家，让参数容量与每token计算部分解耦。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

路由不均、专家容量与跨设备通信成为约束。

原始资料与对应内容

摘要：方法与适用边界

• Sparsely-Gated Mixture-of-Experts · 2017-01-23 · 核对 2026-10-22

关系

• 改进 · Switch Transformer

  简化每token专家选择，降低路由复杂度。

  • Switch Transformers · 2021-01-11 · 核对 2026-10-21

2020-06-30 · GShard · 方法研究

专家分片 · GShard

当时的瓶颈

稀疏模型难以手工跨设备切分。

关键机制

以分片注释和自动并行编译扩展条件计算MoE。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

专家容量和all-to-all通信仍限制扩展。

原始资料与对应内容

摘要：方法与适用边界

• GShard · 2020-06-30 · 核对 2026-10-22

关系

2021-01-11 · Switch Transformer · 方法研究

单专家路由 · Switch Transformer

当时的瓶颈

多专家路由增加通信与训练不稳定性。

关键机制

用top-1路由让每个token只调用一个前馈专家，扩大条件计算容量。

证据与条件

Switch论文研究稀疏专家的简化路由、稳定性和负载均衡；总参数和单token激活量需分别计算。

新约束

单专家路由仍需容量管理、均衡与数值稳定技巧。

原始资料与对应内容

原始资料：方法与结果

• Switch Transformers · 2021-01-11 · 核对 2026-10-21

关系

• 改进 · Sparsely-gated MoE

  简化每token专家选择，降低路由复杂度。

  • Switch Transformers · 2021-01-11 · 核对 2026-10-21

2024-01-08 · Mixtral 8×7B report · 型号实践

稀疏专家模型 · Mistral · Mixtral

当时的瓶颈

希望增加容量又控制激活计算。

关键机制

每层为token选择两个前馈专家，共享注意力；报告披露稀疏型号的质量与速度条件。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

总权重内存并不随激活参数同比降低。

原始资料与对应内容

摘要：方法与适用边界

• Mixtral of Experts · 2024-01-08 · 核对 2026-10-22

关系

2024-01-11 · DeepSeekMoE · 方法研究

细粒度共享专家 · DeepSeekMoE

当时的瓶颈

粗粒度专家重复学习公共知识。

关键机制

细分专家并隔离共享专家，让路由专家更专门化。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

专家数量增多会加重路由和通信组织。

原始资料与对应内容

摘要：方法与适用边界

• DeepSeekMoE · 2024-01-11 · 核对 2026-10-22

关系

• 采用 · DeepSeek-V3 · load balancing

  V3沿用细粒度／共享专家，并改变均衡方法。

  • DeepSeek-V3 Technical Report · 2024-12-27 · 核对 2026-10-21

2024-12-27 · DeepSeek-V3 · load balancing · 型号实践

无辅助损失均衡 · DeepSeek-V3

当时的瓶颈

辅助均衡目标可能干扰任务学习，通信仍昂贵。

关键机制

用专家偏置调节负载，减弱辅助均衡损失对任务目标的干扰；沿用细粒度与共享专家。

证据与条件

V3技术报告公开DeepSeekMoE与MLA；MLA已在V2验证，不应把2024年12月当作MLA首次提出日期。

新约束

偏置更新、分组限制和集群通信仍需联合调试。

原始资料与对应内容

原始资料：方法与结果

• DeepSeek-V3 Technical Report · 2024-12-27 · 核对 2026-10-21

来源修订 2025-02-18

关系

• 采用 · DeepSeekMoE

  V3沿用细粒度／共享专家，并改变均衡方法。

  • DeepSeek-V3 Technical Report · 2024-12-27 · 核对 2026-10-21
• 组合 · DeepSeek-V3 · MTP

  V3模型把MoE与MTP联合使用，二者不是同一机制。

  • DeepSeek-V3 Technical Report · 2024-12-27 · 核对 2026-10-21
• 跨主线支撑 · DeepSeek-V3 · DualPipe / FP8

  MoE训练要求计算与专家通信协同设计。

  • DeepSeek-V3 Technical Report · 2024-12-27 · 核对 2026-10-21

2025-04-29 · Qwen3 MoE · 型号实践

稀疏专家扩展 · Qwen3 MoE

当时的瓶颈

不同部署预算需要稠密与稀疏模型选择。

关键机制

Qwen3提供稠密与MoE两类型号，区分总参数和激活参数。

证据与条件

2025发布说明明确列出不同型号及混合思考能力；公司路线须绑定具体型号和模式。

新约束

激活参数不代表全部显存，MoE并非所有batch下更快。

原始资料与对应内容

原始资料：方法与结果

• Qwen3 · 2025-04-29 · 核对 2026-10-21

关系

2022-03-04 · InstructGPT / RLHF · 方法研究

人类反馈对齐 · OpenAI · InstructGPT

当时的瓶颈

预训练的下一个token目标不直接对应用户意图。

关键机制

示范做SFT，比较数据训练奖励模型，再用带约束的策略优化利用反馈。

证据与条件

InstructGPT公布了这套后训练流程与评测；人类偏好提升不能直接等同于所有事实都正确。

新约束

偏好数据和奖励模型存在偏差，优化奖励不保证事实正确。

原始资料与对应内容

原始资料：方法与结果

• Training language models to follow instructions with human feedback · 2022-03-04 · 核对 2026-10-21

关系

• 替代路线 · DPO

  偏好优化的不同训练目标，不表示DPO普遍替代RLHF。

  • Direct Preference Optimization · 2023-05-29 · 核对 2026-10-21

2022-12-15 · Constitutional AI · 方法研究

宪法式 AI 对齐 · Constitutional AI

当时的瓶颈

人工逐条提供安全反馈难扩展。

关键机制

用显式原则生成批评与修订，再用AI偏好反馈训练。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

原则选择、评判模型偏差与覆盖范围仍影响结果。

原始资料与对应内容

摘要：方法与适用边界

• Constitutional AI · 2022-12-15 · 核对 2026-10-22

关系

2023-05-29 · DPO · 方法研究

直接偏好优化 · DPO

当时的瓶颈

独立奖励模型与在线RL让偏好训练复杂。

关键机制

直接优化胜者与败者相对参考策略的概率比，省去独立奖励模型训练。

证据与条件

DPO从KL正则化目标推导偏好损失，仍需要偏好对与参考策略，属于替代方法而非必经后继。

新约束

离线偏好覆盖与参考策略约束限制分布外探索。

原始资料与对应内容

原始资料：方法与结果

• Direct Preference Optimization · 2023-05-29 · 核对 2026-10-21

关系

• 替代路线 · InstructGPT / RLHF

  偏好优化的不同训练目标，不表示DPO普遍替代RLHF。

  • Direct Preference Optimization · 2023-05-29 · 核对 2026-10-21

2026 · GLM-5.3 · Post-training on a shared base · 型号实践

同底座的后训练迭代 · GLM-5.3

当时的瓶颈

能力提升不总是来自更换预训练架构。

关键机制

官方说明沿用5.2底座，5.3改进来自后训练；与Flash新底座分开。

证据与条件

原始资料对应章节披露；未独立复现实验，不将型号应用日期视为方法首创。

新约束

没有具体优化器证据；不能推定采用GRPO或蒸馏。

原始资料与对应内容

README：GLM-5.3 Introduction；核对2026-10-23

• GLM-5.3 / GLM-5.3-Flash official repository · 2026 · 核对 2026-10-23

关系

2026-09 · Claude Opus 5.5 · Constitution-guided post-training · 型号实践

原则引导的后训练 · Claude Opus 5.5

当时的瓶颈

助手需要同时获得任务能力与稳定的行为原则。

关键机制

透明度页披露多样数据预训练后进行大量后训练，以Claude constitution中的价值原则指导行为。

证据与条件

Opus 5.5训练说明已核；旧CAI论文的具体流程不自动继承。

新约束

未披露具体优化器和奖励构建方式，不能补画未确认的RLAIF流程。

原始资料与对应内容

Claude Opus 5.5: Model architecture and training methodology

• Claude Transparency Hub · 2026-09 · 核对 2026-10-23

关系

2026-10-12 · Muse Wonder · Pretraining and RL scaling · 型号实践

预训练与后训练共同扩展 · Muse Wonder / Full

当时的瓶颈

只增加预训练容量不能覆盖所有长任务能力。

关键机制

官方明确Wonder系列在预训练与强化学习两方面扩展；没有披露具体RL优化器。

证据与条件

原始资料对应章节披露；未独立复现实验，不将型号应用日期视为方法首创。

新约束

这不是对推理RL、GRPO或Llama架构的确认。

原始资料与对应内容

Scaling Toward Personal Superintelligence

• Muse Wonder and Muse Wonder Full · 2026-10-12 · 核对 2026-10-23

关系

2024-02-05 · DeepSeekMath · GRPO · 方法研究

组相对策略优化 · DeepSeekMath

当时的瓶颈

策略优化的价值模型额外占用训练资源。

关键机制

同题采样成组输出，以组内奖励构造相对优势，省去独立critic。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

组内奖励缺乏差异时信号变弱，仍需控制偏离参考策略。

Aᵢ = (rᵢ − mean(r_group)) / std(r_group)
σ = 0 requires explicit handling

原始资料与对应内容

摘要：方法与适用边界

• DeepSeekMath / GRPO · 2024-02-05 · 核对 2026-10-22

关系

• 采用 · R1 / R1-Zero

  R1的可验证奖励训练采用GRPO。

  • DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning · 2025-01-22 · 核对 2026-10-21
• 改进 · DAPO

  围绕组采样策略优化修正裁剪、采样与长输出问题。

  • DAPO · 2025-03-18 · 核对 2026-10-22

2024-09-12 · o1 · reasoning RL · 型号实践

推理强化学习 · OpenAI · o1

当时的瓶颈

更大预训练模型仍会在多步推理中失败。

关键机制

通过强化学习塑造求解行为，并研究训练计算与回答时计算的扩展。

证据与条件

OpenAI在2024年公开方向与实验；未公开完整奖励和算法，不能按R1的方案补全。

新约束

公开披露不足以复现完整RL配方，更长思考增加延迟。

原始资料与对应内容

原始资料：方法与结果

• Learning to reason with LLMs · 2024-09-12 · 核对 2026-10-21

关系

2025-01-22 · R1 / R1-Zero · 型号实践

可验证奖励 RL · R1 / R1-Zero

当时的瓶颈

人工推理示范昂贵，需要可扩展训练信号。

关键机制

可核验任务反馈支持推理RL；区分R1-Zero直接RL与R1冷启动、多阶段流程。

证据与条件

2025报告公开组内相对奖励等方法；验证最终答案不等于证明每步推理正确。

新约束

可验证奖励覆盖有限，R1-Zero的可读性问题需要后续训练。

原始资料与对应内容

原始资料：方法与结果

• DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning · 2025-01-22 · 核对 2026-10-21

关系

• 采用 · DeepSeekMath · GRPO

  R1的可验证奖励训练采用GRPO。

  • DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning · 2025-01-22 · 核对 2026-10-21
• 跨主线支撑 · Test-time compute

  推理训练决定追加计算的有效性；预算分配是另一层问题。

  • DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning · 2025-01-22 · 核对 2026-10-21
  • Scaling LLM Test-Time Compute Optimally · 2024-08-06 · 核对 2026-10-21

2025-01-22 · Kimi k1.5 · 型号实践

长链强化学习 · Kimi k1.5

当时的瓶颈

长推理训练的探索和样本使用效率受限。

关键机制

扩展RL上下文并优化策略更新，以long-to-short把长思考能力转移到短输出。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

长轨迹增加采样成本，蒸馏后的能力须单独评估。

原始资料与对应内容

摘要：方法与适用边界

• Kimi k1.5 · 2025-01-22 · 核对 2026-10-22

关系

• 跨主线支撑 · AReaL

  长输出RL的等待问题促使异步系统优化；不表示k1.5采用AReaL。

  • Kimi k1.5 · 2025-01-22 · 核对 2026-10-22
  • AReaL · 2025-05-30 · 核对 2026-10-22

2025-03-18 · DAPO · 方法研究

策略优化改进 · DAPO

当时的瓶颈

熵下降、无效组和过长输出破坏大规模RL。

关键机制

解耦裁剪、动态采样、token级损失与过长奖励处理，修正可复现训练中的关键细节。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

成功依赖任务奖励与长度设置，不能等同于通用智能配方。

原始资料与对应内容

四项关键技术 / 方法

• DAPO · 2025-03-18 · 核对 2026-10-22

关系

• 改进 · DeepSeekMath · GRPO

  围绕组采样策略优化修正裁剪、采样与长输出问题。

  • DAPO · 2025-03-18 · 核对 2026-10-22
• 跨主线支撑 · HybridFlow / verl

  DAPO开源实现基于verl。

  • DAPO · 2025-03-18 · 核对 2026-10-22

2024-07-31 · Llama 3 data recipe · 型号实践

预训练数据配方 · Meta · Llama 3

当时的瓶颈

原始网页数量不能代表有效训练数据。

关键机制

去重、质量过滤、混合比例与退火配合模型规模和训练预算。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

配方依赖数据池；训练更久也要核算部署收益。

原始资料与对应内容

Pre-training data / data mix

• The Llama 3 Herd of Models · 2024-07-31 · 核对 2026-10-22

关系

2025-05-14 · Qwen3 · staged pretraining · 型号实践

分阶段预训练 · Alibaba · Qwen3

当时的瓶颈

通用数据、推理知识和长上下文目标并不相同。

关键机制

分阶段预训练调整数据配比与序列长度，随后融合思考与非思考后训练。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

公开报告不提供全部数据来源；不能把合成数据数量等同于质量。

原始资料与对应内容

Pre-training / post-training

• Qwen3 Technical Report · 2025-05-14 · 核对 2026-10-22

关系

2026-02-04 · ERNIE 5.0 · Unified multimodal prediction · 型号实践

统一多模态预测目标 · ERNIE 5.0

当时的瓶颈

理解与生成的多种模态难以共享优化过程。

关键机制

将多模态编码成统一序列，以next-group-of-tokens目标从头训练，并由模态无关路由共享稀疏专家。

证据与条件

原始资料对应章节披露；未独立复现实验，不将型号应用日期视为方法首创。

新约束

统一目标仍需模态编码与数据平衡；不是仅拼接几个独立模型。

原始资料与对应内容

§2 Architecture／§2.1

• ERNIE 5.0 Technical Report · 2026-02-04 · 核对 2026-10-23

关系

2021-06-17 · LoRA · 方法研究

低秩适配 · LoRA

当时的瓶颈

为每个任务保存全模型更新昂贵。

关键机制

冻结基座，仅训练低秩矩阵增量；可在部署前合并权重。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

秩和目标层选择限制适配容量；不自动节省基座推理成本。

W′ = W + BA, rank(BA) ≤ r

原始资料与对应内容

摘要：方法与适用边界

• LoRA · 2021-06-17 · 核对 2026-10-22

关系

• 组合 · QLoRA

  低秩更新与量化基座组合。

  • QLoRA · 2023-05-23 · 核对 2026-10-22

2023-05-23 · QLoRA · 方法研究

量化低秩适配 · QLoRA

当时的瓶颈

即使只训练adapter，基座仍占显存。

关键机制

NF4基座、双重量化与分页优化器配合低秩更新，减少微调内存。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

量化误差、反量化开销和任务效果须一起衡量。

原始资料与对应内容

摘要：方法与适用边界

• QLoRA · 2023-05-23 · 核对 2026-10-22

关系

• 组合 · LoRA

  低秩更新与量化基座组合。

  • QLoRA · 2023-05-23 · 核对 2026-10-22

2023-12-01 · Mamba · 方法研究

选择性状态空间 · Mamba

当时的瓶颈

长序列全注意力缓存随长度增长。

关键机制

输入依赖的选择性状态空间更新配合硬件感知扫描，将历史压入递归状态。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

固定状态不等于任意历史的精确寻址。

原始资料与对应内容

摘要：方法与适用边界

• Mamba · 2023-12-01 · 核对 2026-10-22

关系

2024-12-09 · Gated DeltaNet · 方法研究

门控递归状态 · Gated DeltaNet

当时的瓶颈

线性注意力需要更有选择的记忆更新。

关键机制

把门控遗忘与delta规则结合，控制状态保留与新信息写入。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

状态压缩仍会损失信息，训练并行实现也有成本。

原始资料与对应内容

摘要：方法与适用边界

• Gated Delta Networks · 2024-12-09 · 核对 2026-10-22

关系

• 采用 · Qwen3-Next

  Qwen3-Next披露使用Gated DeltaNet。

  • Qwen3-Next · 2025-09-10 · 核对 2026-10-22
• 改进 · Kimi K3 · KDA with global attention

  KDA在delta递推中增加逐通道遗忘门，并在K3中与全局层混合。

  • Kimi K3: Open Frontier Intelligence · 2026-07-27 · 核对 2026-10-23

2025-01-14 · MiniMax-01 · 型号实践

混合线性注意力 · MiniMax-01

当时的瓶颈

超长上下文的训练与推理成本过高。

关键机制

Lightning Attention与softmax attention混合，兼顾线性状态更新与全局交互。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

混合比例影响检索质量和缓存成本。

原始资料与对应内容

摘要：方法与适用边界

• MiniMax-01 · 2025-01-14 · 核对 2026-10-22

关系

2025-06-16 · MiniMax-M1 · 型号实践

混合架构推理训练 · MiniMax-M1

当时的瓶颈

长上下文再叠加长推理使成本更高。

关键机制

将混合注意力MoE用于长推理，配合数学与软件环境强化学习。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

长窗口不保证有效使用；报告速度取决于生成长度与对照。

原始资料与对应内容

摘要：方法与适用边界

• MiniMax-M1 · 2025-06-16 · 核对 2026-10-22

关系

2025-09-10 · Qwen3-Next · 型号实践

混合注意力＋MoE · Qwen3-Next

当时的瓶颈

稠密全注意力与专家计算难支撑低成本长上下文。

关键机制

混合Gated DeltaNet与门控注意力，配合高稀疏MoE和多token预测。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

需要支持混合状态和MTP的运行时；各组件贡献须看消融。

原始资料与对应内容

Architecture / training / MTP

• Qwen3-Next · 2025-09-10 · 核对 2026-10-22

关系

• 采用 · Gated DeltaNet

  Qwen3-Next披露使用Gated DeltaNet。

  • Qwen3-Next · 2025-09-10 · 核对 2026-10-22
• 组合 · Qwen3.5

  官方架构均组合混合注意力与稀疏专家，非据此推断训练继承。

  • Qwen3-Next · 2025-09-10 · 核对 2026-10-22
  • Qwen3.5 · 2026-02-15 · 核对 2026-10-22
• 跨主线支撑 · DeepSeek-V3 · MTP

  两份型号资料都披露MTP，连接训练目标与草稿生成。

  • Qwen3-Next · 2025-09-10 · 核对 2026-10-22
  • DeepSeek-V3 Technical Report · 2024-12-27 · 核对 2026-10-21

2026 · GLM-5.3-Flash · Sparse / linear hybrid with mHC · 型号实践

稀疏／线性混合与 mHC · GLM-5.3-Flash

当时的瓶颈

低成本服务与高容量注意力之间需要折中。

关键机制

官方说明Flash采用新底座，组合稀疏与线性注意力以及mHC。

证据与条件

原始资料对应章节披露；未独立复现实验，不将型号应用日期视为方法首创。

新约束

并非5.3简单缩小；GLM-5旧系统配方不能直接继承。

原始资料与对应内容

README：GLM-5.3-Flash；核对2026-10-23

• GLM-5.3 / GLM-5.3-Flash official repository · 2026 · 核对 2026-10-23

关系

2026 · Qwen3.8-2.4T-A95B · Gated recurrence / attention with MoE · 型号实践

门控递归／注意力与 MoE · Qwen3.8-2.4T-A95B

当时的瓶颈

Max级开放模型需要平衡容量与每token计算。

关键机制

模型卡列出Gated DeltaNet与Gated Attention交替、MoE及多步MTP训练。

证据与条件

原始资料对应章节披露；未独立复现实验，不将型号应用日期视为方法首创。

新约束

仅绑定开放权重；MTP训练不证明线上使用推测解码。

原始资料与对应内容

Model Overview

• Qwen3.8-2.4T-A95B model card · 2026 · 核对 2026-10-23

关系

2026-02-15 · Qwen3.5 · 型号实践

混合架构扩展 · Qwen3.5

当时的瓶颈

混合状态模型还要处理视觉输入。

关键机制

原生视觉语言训练与混合注意力、稀疏专家结合。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

不能只以文本指标判断多模态与长上下文能力。

原始资料与对应内容

官方架构与多模态训练说明

• Qwen3.5 · 2026-02-15 · 核对 2026-10-22

Model overview / hybrid layout / vision-language foundation

• Qwen3.5 model card · 未标日期 · 核对 2026-10-22

关系

• 组合 · Qwen3-Next

  官方架构均组合混合注意力与稀疏专家，非据此推断训练继承。

  • Qwen3-Next · 2025-09-10 · 核对 2026-10-22
  • Qwen3.5 · 2026-02-15 · 核对 2026-10-22
• 跨主线支撑 · Dynamo · EPD

  多模态模型引入编码负载；是否拆分取决于实测，不表示Qwen使用Dynamo。

  • Qwen3.5 · 2026-02-15 · 核对 2026-10-22
  • When to Use Encode-Prefill-Decode Disaggregation · 2026-09-09 · 核对 2026-10-21

2026-04-14 · Nemotron 3 Super · 型号实践

混合专家架构 · Nemotron 3 Super

当时的瓶颈

Agent长轨迹要求同时控制缓存与专家成本。

关键机制

混合Mamba、注意力与LatentMoE，使用MTP支持原生推测解码。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

混合结构与推测解码依赖配套内核，收益不能只看激活参数。

原始资料与对应内容

摘要：方法与适用边界

• Nemotron 3 Super · 2026-04-14 · 核对 2026-10-22

关系

• 跨主线支撑 · Nemotron 3 Super · NVFP4

  同一型号的结构与低精度预训练配方。

  • Nemotron 3 Super · 2026-04-14 · 核对 2026-10-22

2026-07-27 · Kimi K3 · KDA with global attention · 型号实践

KDA 与全局注意力混合 · Kimi K3

当时的瓶颈

长序列既需要低成本状态更新，也需要全局检索。

关键机制

每块组合三个KDA层和一个Gated MLA层；KDA为delta递推加入逐通道遗忘门。

证据与条件

原始资料对应章节披露；未独立复现实验，不将型号应用日期视为方法首创。

新约束

全局层和递归层需要不同内核；该比例属于K3，不能泛化所有混合模型。

原始资料与对应内容

§2.1 Hybrid Attention／§2.1.1 KDA

• Kimi K3: Open Frontier Intelligence · 2026-07-27 · 核对 2026-10-23

来源修订 2026-08-07

关系

• 改进 · Gated DeltaNet

  KDA在delta递推中增加逐通道遗忘门，并在K3中与全局层混合。

  • Kimi K3: Open Frontier Intelligence · 2026-07-27 · 核对 2026-10-23

2025-07-28 · Kimi K2 · MuonClip · 型号实践

优化器稳定化 · Kimi K2 · MuonClip

当时的瓶颈

大规模MoE使用Muon时需控制注意力数值异常。

关键机制

以QK裁剪约束注意力logit增长，配合Muon稳定大规模训练。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

这是报告中的优化器稳定化配方，不证明所有模型都应替换Adam。

原始资料与对应内容

MuonClip / pre-training

• Kimi K2 · 2025-07-28 · 核对 2026-10-22

来源修订 2026-02-03

关系

2025-12-31 · mHC · 方法研究

受约束超连接 · mHC

当时的瓶颈

扩宽残差流的自由混合可能破坏信号稳定传播。

关键机制

对残差混合施加流形约束，保留稳定传播性质并提高表示灵活性。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

宽残差和投影增加实现成本；首发在2025年末。

原始资料与对应内容

摘要：方法与适用边界

• mHC: Manifold-Constrained Hyper-Connections · 2025-12-31 · 核对 2026-10-22

来源修订 2026-01-05

关系

• 采用 · DeepSeek-V4 · mHC adoption

  V4型号资料明确披露mHC。

  • DeepSeek-V4 model card · 未标日期 · 核对 2026-10-22

2026-01-12 · Engram · 方法研究

条件记忆 · Engram

当时的瓶颈

重复模式检索也消耗神经网络计算容量。

关键机制

条件记忆以N-gram查表补充条件计算；确定地址有利于主存预取。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

查表容量、带宽和分配需权衡；不据此宣称V4采用。

原始资料与对应内容

摘要：方法与适用边界

• Conditional Memory via Scalable Lookup: Engram · 2026-01-12 · 核对 2026-10-22

关系

2026-04-24 · DeepSeek-V4 · mHC adoption · 型号实践

超连接架构采用 · DeepSeek-V4

当时的瓶颈

结构研究需要在完整模型训练中验证。

关键机制

官方型号资料披露采用mHC与Muon；把方法起点与型号采用分开记录。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

未披露的组件不能从同公司研究中推断。

原始资料与对应内容

摘要：方法与适用边界

• DeepSeek-V4 release · 2026-04-24 · 核对 2026-10-22

Architecture / optimization

• DeepSeek-V4 model card · 未标日期 · 核对 2026-10-22

关系

• 采用 · mHC

  V4型号资料明确披露mHC。

  • DeepSeek-V4 model card · 未标日期 · 核对 2026-10-22

2025-04-16 · o3 / o4-mini · tool training · 型号实践

工具使用训练 · OpenAI · o3 / o4-mini

当时的瓶颈

会回答不等于会决定何时使用工具。

关键机制

强化学习训练工具选择和调用，使推理可与搜索、代码和视觉操作交织。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

公开说明没有披露完整训练算法；工具环境变化影响结果。

原始资料与对应内容

Learning to use tools

• OpenAI o3 and o4-mini · 2025-04-16 · 核对 2026-10-22

关系

• 跨主线支撑 · o3 / o4-mini · interleaved tools

  工具训练与推理时工具使用是同一能力的两面。

  • OpenAI o3 and o4-mini · 2025-04-16 · 核对 2026-10-22

2025-07-28 · Kimi K2 · agent environments · 型号实践

智能体环境训练 · Kimi K2

当时的瓶颈

真实工具轨迹覆盖不足且采集昂贵。

关键机制

合成工具使用数据，并在真实及合成环境中联合强化学习。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

合成环境的奖励与真实任务可能错配。

原始资料与对应内容

Agentic data synthesis / RL

• Kimi K2 · 2025-07-28 · 核对 2026-10-22

来源修订 2026-02-03

关系

2025-12-02 · DeepSeek-V3.2 · agent RL · 型号实践

智能体强化学习 · DeepSeek-V3.2

当时的瓶颈

复杂工具任务缺少可扩展训练信号。

关键机制

扩展RL与Agent任务合成，训练思考中的工具使用。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

任务生成器与验证器质量制约覆盖面。

原始资料与对应内容

摘要：方法与适用边界

• DeepSeek-V3.2 · 2025-12-02 · 核对 2026-10-22

关系

2026-02-02 · Kimi K2.5 · PARL · 型号实践

并行协作训练 · Kimi K2.5 · PARL

当时的瓶颈

串行Agent难自动学会有效并行分工。

关键机制

训练编排器调用冻结的子Agent，以分阶段奖励克服串行坍缩，优化关键路径。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

稀疏延迟反馈和任务依赖限制并行；不能只奖励调用数量。

原始资料与对应内容

摘要：方法与适用边界

• Kimi K2.5 · 2026-02-02 · 核对 2026-10-22

来源修订 2026-08-07

Parallel Agent Reinforcement Learning / critical steps

• Kimi K2.5: Parallel Agent Reinforcement Learning · 未标日期 · 核对 2026-10-22

关系

• 跨主线支撑 · Kimi K2.5 · parallel agents

  协作训练塑造推理阶段的编排策略。

  • Kimi K2.5 · 2026-02-02 · 核对 2026-10-22
  • Kimi K2.5: Parallel Agent Reinforcement Learning · 未标日期 · 核对 2026-10-22

2018-10-11 · BERT · 方法研究

双向掩码预训练 · Google · BERT

当时的瓶颈

单向语言模型不能同时利用左右语境。

关键机制

遮盖token预测使每层联合使用左右上下文，再通过任务微调迁移表示。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

适合表示与理解，不能直接逐token生成。

原始资料与对应内容

摘要：方法与适用边界

• BERT · 2018-10-11 · 核对 2026-10-22

关系

• 替代路线 · Transformer

  双向编码与因果生成采用不同注意力可见范围和目标。

  • BERT · 2018-10-11 · 核对 2026-10-22
  • Attention Is All You Need · 2017-06-12 · 核对 2026-10-21
• 替代路线 · T5

  遮盖表示学习与去噪text-to-text是不同预训练接口。

  • BERT · 2018-10-11 · 核对 2026-10-22
  • T5 · 2019-10-23 · 核对 2026-10-22

2019-10-23 · T5 · 方法研究

文本到文本预训练 · Google · T5

当时的瓶颈

不同任务的输入输出形式各不相同。

关键机制

把语言任务统一为文本到文本，系统比较预训练目标、数据和架构，采用去噪编码器—解码器。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

双栈结构增加部署和计算组织复杂度。

原始资料与对应内容

摘要：方法与适用边界

• T5 · 2019-10-23 · 核对 2026-10-22

关系

• 替代路线 · BERT

  遮盖表示学习与去噪text-to-text是不同预训练接口。

  • BERT · 2018-10-11 · 核对 2026-10-22
  • T5 · 2019-10-23 · 核对 2026-10-22

2019-11-05 · MQA · 方法研究

共享 KV 头 · MQA

当时的瓶颈

每个查询头保存独立KV使解码带宽与缓存昂贵。

关键机制

让全部Query头共享一组K/V，降低增量解码时的缓存读取量。

证据与条件

2019 MQA研究以共享KV缓解带宽需求；实际质量与吞吐仍取决于模型和实现。

新约束

极强共享会影响质量，需要模型训练适配。

原始资料与对应内容

原始资料：方法与结果

• Fast Transformer Decoding: One Write-Head is All You Need · 2019-11-05 · 核对 2026-10-21

关系

• 替代路线 · GQA

  通过分组在共享KV与多头表达之间取舍。

  • GQA: Training Generalized Multi-Query Transformer Models · 2023-05-22 · 核对 2026-10-21

2023-05-22 · GQA · 方法研究

分组共享 KV · GQA

当时的瓶颈

MQA的缓存收益与MHA质量之间需要中间点。

关键机制

将Query头分组共享K/V，在MHA与MQA之间选择缓存和质量的取舍。

证据与条件

2023 GQA论文研究从多头模型转换与训练；缓存载荷比不等于端到端速度比。

新约束

组数决定容量取舍，既有模型转换需要uptraining。

KV bytes ≈ 2 × B × L × T × H_KV × d × bytes/element

原始资料与对应内容

原始资料：方法与结果

• GQA: Training Generalized Multi-Query Transformer Models · 2023-05-22 · 核对 2026-10-21

关系

• 替代路线 · MQA

  通过分组在共享KV与多头表达之间取舍。

  • GQA: Training Generalized Multi-Query Transformer Models · 2023-05-22 · 核对 2026-10-21
• 替代路线 · DeepSeek-V2 · MLA

  共享头与潜变量压缩是不同KV表示路线。

  • GQA: Training Generalized Multi-Query Transformer Models · 2023-05-22 · 核对 2026-10-21
  • DeepSeek-V2 · 2024-05-07 · 核对 2026-10-22
• 跨主线支撑 · PagedAttention / vLLM

  表示压缩与内存分页互补，不互相替代。

  • GQA: Training Generalized Multi-Query Transformer Models · 2023-05-22 · 核对 2026-10-21
  • Efficient Memory Management for Large Language Model Serving with PagedAttention · 2023-09-12 · 核对 2026-10-21

2024-05-07 · DeepSeek-V2 · MLA · 型号实践

潜变量压缩 KV · DeepSeek-V2 · MLA

当时的瓶颈

KV缓存限制并发与长上下文。

关键机制

把KV联合压到低维潜变量，配合解耦位置表示和权重吸收减少解码缓存。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

需要配套训练与专门实现，不能对任意既有模型直接换缓存。

原始资料与对应内容

摘要：方法与适用边界

• DeepSeek-V2 · 2024-05-07 · 核对 2026-10-22

关系

• 替代路线 · GQA

  共享头与潜变量压缩是不同KV表示路线。

  • GQA: Training Generalized Multi-Query Transformer Models · 2023-05-22 · 核对 2026-10-21
  • DeepSeek-V2 · 2024-05-07 · 核对 2026-10-22
• 采用 · DeepSeek-V3 · MLA adoption

  V3采用V2已披露的MLA。

  • DeepSeek-V3 Technical Report · 2024-12-27 · 核对 2026-10-21

2024-12-27 · DeepSeek-V3 · MLA adoption · 型号实践

MLA 型号采用 · DeepSeek-V3

当时的瓶颈

大规模型号仍需减少KV缓存占用。

关键机制

V3沿用V2提出的MLA；此处记录规模化采用，起点见2024年5月V2节点。

证据与条件

V3技术报告公开DeepSeekMoE与MLA；MLA已在V2验证，不应把2024年12月当作MLA首次提出日期。

新约束

V3是MLA的采用实例，不能改写V2起点。

原始资料与对应内容

原始资料：方法与结果

• DeepSeek-V3 Technical Report · 2024-12-27 · 核对 2026-10-21

来源修订 2025-02-18

关系

• 采用 · DeepSeek-V2 · MLA

  V3采用V2已披露的MLA。

  • DeepSeek-V3 Technical Report · 2024-12-27 · 核对 2026-10-21

2022-11-30 · Speculative decoding · 方法研究

草稿—验证解码 · Speculative decoding

当时的瓶颈

目标模型逐token解码反复读取权重。

关键机制

草稿提出候选，目标模型并行验证，用接受／拒绝和残差采样恢复目标分布。

证据与条件

方法于2022年公开、发表于ICML 2023；无损采样结论依赖完整校正算法及分布假设。

新约束

草稿成本与拒绝率可能抵消收益，分布保证需要正确校正。

原始资料与对应内容

原始资料：方法与结果

• Fast Inference from Transformers via Speculative Decoding · 2022-11-30 · 核对 2026-10-21

关系

• 改进 · EAGLE-3

  保留目标验证，改进草稿模型的训练与特征使用。

  • EAGLE-3 · 2025-03-03 · 核对 2026-10-22

2024 · AI Overviews · 工程实现

推测解码落地 · Google AI Overviews

当时的瓶颈

线上生成需要降低用户等待时间。

关键机制

Google公开AI Overviews使用推测解码，以草稿—验证减少昂贵生成步骤。

证据与条件

这是2024年的产品采用披露，不是该方法的首次提出；未承诺所有请求获得一致收益。

新约束

公开产品说明不披露全部接受策略，不能反推精确实现。

原始资料与对应内容

原始资料：方法与结果

• Looking back at speculative decoding · 2024 · 核对 2026-10-21

关系

2024-01-19 · Medusa · 方法研究

多头草稿生成 · Medusa

当时的瓶颈

独立草稿模型增加部署和调度成本。

关键机制

在目标模型上添加多个解码头，并用树状候选验证多个未来位置。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

需要额外头的训练；不同接受策略有不同分布保证。

原始资料与对应内容

摘要：方法与适用边界

• Medusa · 2024-01-19 · 核对 2026-10-22

关系

2024-12-27 · DeepSeek-V3 · MTP · 型号实践

多 token 预测 · DeepSeek-V3 · MTP

当时的瓶颈

单步预测目标难直接提供便宜的多步草稿。

关键机制

多token预测训练附加模块；可在推理时作草稿，交给目标验证。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

训练辅助收益与推理加速是两项不同结论。

原始资料与对应内容

Multi-token prediction

• DeepSeek-V3 Technical Report · 2024-12-27 · 核对 2026-10-21

来源修订 2025-02-18

关系

• 组合 · DeepSeek-V3 · load balancing

  V3模型把MoE与MTP联合使用，二者不是同一机制。

  • DeepSeek-V3 Technical Report · 2024-12-27 · 核对 2026-10-21
• 跨主线支撑 · Qwen3-Next

  两份型号资料都披露MTP，连接训练目标与草稿生成。

  • Qwen3-Next · 2025-09-10 · 核对 2026-10-22
  • DeepSeek-V3 Technical Report · 2024-12-27 · 核对 2026-10-21

2025-03-03 · EAGLE-3 · 方法研究

特征驱动草稿 · EAGLE-3

当时的瓶颈

草稿预测特征的限制阻碍数据扩展收益。

关键机制

从特征预测改为直接token预测，融合目标模型多层特征并采用training-time test。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

加速依赖接受率、草稿成本和目标推理负载。

原始资料与对应内容

摘要：方法与适用边界

• EAGLE-3 · 2025-03-03 · 核对 2026-10-22

关系

• 改进 · Speculative decoding

  保留目标验证，改进草稿模型的训练与特征使用。

  • EAGLE-3 · 2025-03-03 · 核对 2026-10-22
• 替代路线 · DFlash

  自回归草稿与块扩散草稿的机制对照，不宣称直接继承。

  • EAGLE-3 · 2025-03-03 · 核对 2026-10-22
  • DFlash · 2026-02-05 · 核对 2026-10-22

2026-02-05 · DFlash · 方法研究

块扩散草稿 · DFlash

当时的瓶颈

自回归草稿自身仍需逐token生成。

关键机制

条件于目标上下文特征，扩散草稿并行生成token块，再由自回归目标验证。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

无损性来自验证与校正条件，不表示扩散取代目标模型。

原始资料与对应内容

摘要：方法与适用边界

• DFlash · 2026-02-05 · 核对 2026-10-22

来源修订 2026-05-28

关系

• 替代路线 · EAGLE-3

  自回归草稿与块扩散草稿的机制对照，不宣称直接继承。

  • EAGLE-3 · 2025-03-03 · 核对 2026-10-22
  • DFlash · 2026-02-05 · 核对 2026-10-22

2022-01-28 · Chain-of-Thought · 方法研究

思维链提示 · Chain-of-Thought

当时的瓶颈

直接答案难表达多步求解过程。

关键机制

通过推理示例提示中间步骤，把部分计算放进输出序列。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

过程可能错误或不忠实；更长输出本身不是正确性证据。

原始资料与对应内容

摘要：方法与适用边界

• Chain-of-Thought Prompting · 2022-01-28 · 核对 2026-10-22

关系

• 组合 · Self-Consistency

  多条推理链加答案聚合。

  • Self-Consistency · 2022-03-21 · 核对 2026-10-22

2022-03-21 · Self-Consistency · 方法研究

多链采样聚合 · Self-Consistency

当时的瓶颈

单条推理路径容易落入局部错误。

关键机制

采样多条推理路径，聚合最终答案提高稳定性。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

样本相关性、聚合规则和总token成本限制收益。

answer* = argmax_a count(sampled answers = a)

原始资料与对应内容

摘要：方法与适用边界

• Self-Consistency · 2022-03-21 · 核对 2026-10-22

关系

• 组合 · Chain-of-Thought

  多条推理链加答案聚合。

  • Self-Consistency · 2022-03-21 · 核对 2026-10-22

2023-05-31 · Process supervision · 方法研究

推理过程监督 · Process supervision

当时的瓶颈

只判断最终答案不能定位中间错误。

关键机制

监督推理步骤，训练过程奖励模型用于候选评分。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

步骤标签昂贵，评判器也可能被利用。

原始资料与对应内容

摘要：方法与适用边界

• Let’s Verify Step by Step · 2023-05-31 · 核对 2026-10-22

关系

• 组合 · Test-time compute

  验证器是计算预算分配中的一种组件。

  • Scaling LLM Test-Time Compute Optimally · 2024-08-06 · 核对 2026-10-21

2024-08-06 · Test-time compute · 方法研究

求解计算分配 · Test-time compute

当时的瓶颈

复杂问题可能需要更多推理步骤、候选探索和验证。

关键机制

把有限回答预算分给更长求解、候选搜索与验证，结合问题难度调节。

证据与条件

2024研究讨论最优推理计算分配；结果依赖具体模型、任务与验证器。

新约束

更多 token 不保证正确；需同时评价质量、延迟、成本与停止条件。

原始资料与对应内容

原始资料：方法与结果

• Scaling LLM Test-Time Compute Optimally · 2024-08-06 · 核对 2026-10-21

关系

• 跨主线支撑 · R1 / R1-Zero

  推理训练决定追加计算的有效性；预算分配是另一层问题。

  • DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning · 2025-01-22 · 核对 2026-10-21
  • Scaling LLM Test-Time Compute Optimally · 2024-08-06 · 核对 2026-10-21
• 组合 · Process supervision

  验证器是计算预算分配中的一种组件。

  • Scaling LLM Test-Time Compute Optimally · 2024-08-06 · 核对 2026-10-21
• 组合 · Gemini 2.5 · thinking budget

  预算分配研究与产品预算接口作机制对照，不声称直接采用该论文。

  • Scaling LLM Test-Time Compute Optimally · 2024-08-06 · 核对 2026-10-21
  • Gemini 2.5: thinking budgets · 2025-05-20 · 核对 2026-10-22

2025-02-24 · Extended thinking · 型号实践

扩展思考 · Claude 3.7 Sonnet

当时的瓶颈

复杂问题可能需要更多推理步骤、候选探索和验证。

关键机制

Claude 3.7同时提供标准回答与扩展思考，允许设置思考预算。

证据与条件

2025官方公告披露外部能力；并未由此公开其内部搜索或奖励算法。

新约束

更多 token 不保证正确；需同时评价质量、延迟、成本与停止条件。

原始资料与对应内容

原始资料：方法与结果

• Claude 3.7 Sonnet and Claude Code · 2025-02-24 · 核对 2026-10-21

关系

2025-04-29 · Hybrid thinking · 型号实践

混合思考模式 · Qwen3

当时的瓶颈

复杂问题可能需要更多推理步骤、候选探索和验证。

关键机制

Qwen3提供思考与非思考模式，让回答预算成为可选择的维度。

证据与条件

2025发布说明明确列出不同型号及混合思考能力；公司路线须绑定具体型号和模式。

新约束

更多 token 不保证正确；需同时评价质量、延迟、成本与停止条件。

原始资料与对应内容

原始资料：方法与结果

• Qwen3 · 2025-04-29 · 核对 2026-10-21

关系

• 替代路线 · Claude Opus 4.6 · adaptive thinking

  显式思考模式／预算与自适应思考是不同控制方式。

  • Qwen3 · 2025-04-29 · 核对 2026-10-21
  • Claude Opus 4.6: adaptive thinking · 2026-02-05 · 核对 2026-10-22

2025-05-20 · Gemini 2.5 · thinking budget · 型号实践

思考预算 · Gemini 2.5

当时的瓶颈

不同任务对思考计算的收益不同。

关键机制

开放思考预算控制，把质量、成本和延迟作为可调取舍。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

预算是控制接口，不代表内部求解算法完全公开。

原始资料与对应内容

Thinking budgets / developer experience

• Gemini 2.5: thinking budgets · 2025-05-20 · 核对 2026-10-22

关系

• 组合 · Test-time compute

  预算分配研究与产品预算接口作机制对照，不声称直接采用该论文。

  • Scaling LLM Test-Time Compute Optimally · 2024-08-06 · 核对 2026-10-21
  • Gemini 2.5: thinking budgets · 2025-05-20 · 核对 2026-10-22

2026-02-05 · Claude Opus 4.6 · adaptive thinking · 型号实践

自适应思考 · Claude Opus 4.6

当时的瓶颈

固定思考长度对简单与困难任务分配不佳。

关键机制

按上下文决定何时及多深思考，并通过effort控制质量、成本与速度取舍。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

官方未披露完整预算策略，不能当作可复现算法或保证最优停止。

原始资料与对应内容

Product and API updates / adaptive thinking

• Claude Opus 4.6: adaptive thinking · 2026-02-05 · 核对 2026-10-22

关系

• 替代路线 · Hybrid thinking

  显式思考模式／预算与自适应思考是不同控制方式。

  • Qwen3 · 2025-04-29 · 核对 2026-10-21
  • Claude Opus 4.6: adaptive thinking · 2026-02-05 · 核对 2026-10-22

2026-09-03 · GPT-6 Astra · Learned internal reasoning · 型号实践

训练获得的内部推理 · GPT-6 Astra / GPT-6.1 Sol

当时的瓶颈

复杂任务需要在作答前组织中间推理。

关键机制

系统卡描述模型通过RL学会作答前内部思考、尝试策略与识别错误；这是训练所得行为，不只是提示词技巧。

证据与条件

系统卡§2明确披露；推理轨迹不保证与所有内部计算完全一致。

新约束

未披露具体搜索算法与推理预算分配，不能推断树搜索或多个模型协作。

原始资料与对应内容

§2 Model Data and Training

• GPT-6 Astra System Card · 2026-09-03 · 核对 2026-10-23

关系

2021-04-20 · RoPE · 方法研究

旋转位置编码 · RoPE

当时的瓶颈

注意力需要可表达相对位置的编码。

关键机制

旋转Query与Key的位置表示，让点积包含相对位置信息。

证据与条件

RoFormer于2021年提出RoPE；位置编码机制不保证未训练长度下的检索和推理质量。

新约束

RoPE本身不消除二次注意力，也不保证长度外推。

原始资料与对应内容

原始资料：方法与结果

• RoFormer: Enhanced Transformer with Rotary Position Embedding · 2021-04-20 · 核对 2026-10-21

关系

• 跨主线支撑 · DeepSpeed Ulysses

  位置可扩展性与分布式长序列执行解决不同瓶颈。

  • RoFormer: Enhanced Transformer with Rotary Position Embedding · 2021-04-20 · 核对 2026-10-21
  • DeepSpeed Ulysses · 2023-09-25 · 核对 2026-10-22

2023-07-06 · Lost in the Middle · 方法研究

长上下文有效性 · Lost in the Middle

当时的瓶颈

窗口更长不代表模型会使用中部信息。

关键机制

在不同上下文位置放置证据，分别检验窗口容量与有效使用。

证据与条件

2023研究发现其被测模型与任务存在位置敏感性；不能外推为所有后续模型的统一表现。

新约束

这是评测现象，不是一个新的位置算法。

原始资料与对应内容

原始资料：方法与结果

• Lost in the Middle: How Language Models Use Long Contexts · 2023-07-06 · 核对 2026-10-21

关系

2023-08-31 · YaRN · 方法研究

上下文长度扩展 · YaRN

当时的瓶颈

训练长度之外的位置编码外推不稳。

关键机制

按频率调整RoPE插值并校正注意力温度，以较少长序列微调扩展窗口。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

窗口扩展不等于检索可靠，注意力计算仍需系统优化。

原始资料与对应内容

摘要：方法与适用边界

• YaRN · 2023-08-31 · 核对 2026-10-22

关系

2022-10-31 · GPTQ · 方法研究

权重量化 · GPTQ

当时的瓶颈

逐层权重量化会累积输出误差。

关键机制

用近似二阶信息补偿逐列量化误差，支持低比特权重后训练量化。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

依赖校准数据和对应低比特矩阵内核。

原始资料与对应内容

摘要：方法与适用边界

• GPTQ · 2022-10-31 · 核对 2026-10-22

关系

2022-11-18 · SmoothQuant · 方法研究

激活量化平滑 · SmoothQuant

当时的瓶颈

激活异常值使低比特激活量化困难。

关键机制

把量化难度从激活迁移到权重，利用等价缩放支持W8A8。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

缩放需校准，权重与激活精度应一起评估。

原始资料与对应内容

摘要：方法与适用边界

• SmoothQuant · 2022-11-18 · 核对 2026-10-22

关系

2023-06-01 · AWQ · 方法研究

激活感知量化 · AWQ

当时的瓶颈

统一低比特量化容易损害显著权重通道。

关键机制

利用激活信息调整敏感权重的缩放，控制低比特权重量化误差。

证据与条件

AWQ针对权重量化；缓存与激活精度、内核支持以及评测任务需要另行说明。

新约束

需要代表性激活校准和支持内核，理论压缩比不等于速度比。

原始资料与对应内容

原始资料：方法与结果

• AWQ: Activation-aware Weight Quantization · 2023-06-01 · 核对 2026-10-21

关系

2024-02-05 · KIVI · KV quantization · 方法研究

KV 缓存量化 · KIVI

当时的瓶颈

权重量化后长上下文KV仍占大量内存。

关键机制

针对K与V分布采用不同量化轴，并保留近期高精度残差窗口。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

缩放元数据与解量化成本必须计入，不能直接套用理想字节比。

原始资料与对应内容

摘要：方法与适用边界

• KIVI · 2024-02-05 · 核对 2026-10-22

关系

2025-12-02 · DeepSeek-V3.2 · DSA · 型号实践

稀疏注意力选择 · DeepSeek-V3.2

当时的瓶颈

长上下文全量注意力读取昂贵。

关键机制

轻量索引器选择候选token，主要注意力只作用于选出的历史。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

索引成本、选择质量与内核实现共同决定收益。

Selected attention work ≈ O(Tk·d), k ≪ T
Excludes indexer / selection cost

原始资料与对应内容

摘要：方法与适用边界

• DeepSeek-V3.2 · 2025-12-02 · 核对 2026-10-22

关系

• 改进 · DeepSeek-V4 · CSA / HCA

  型号路线从稀疏选择进一步组合KV压缩。

  • DeepSeek-V3.2 · 2025-12-02 · 核对 2026-10-22
  • DeepSeek-V4 model card · 未标日期 · 核对 2026-10-22
• 替代路线 · MiniMax M3 · Block sparse attention

  官方对照稀疏筛选路线，MSA采用分块与KV外循环执行。

  • MiniMax M3 · 2026-06-01 · 核对 2026-10-23

2026-04-24 · DeepSeek-V4 · CSA / HCA · 型号实践

压缩注意力 · DeepSeek-V4

当时的瓶颈

仅稀疏读取仍需控制历史KV存储。

关键机制

CSA结合KV压缩与稀疏选择；HCA对更重压缩后的状态执行密集注意力。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

压缩改变信息保留和内核需求，不能等同于无损分页。

原始资料与对应内容

摘要：方法与适用边界

• DeepSeek-V4 release · 2026-04-24 · 核对 2026-10-22

Hybrid attention architecture

• DeepSeek-V4 model card · 未标日期 · 核对 2026-10-22

关系

• 改进 · DeepSeek-V3.2 · DSA

  型号路线从稀疏选择进一步组合KV压缩。

  • DeepSeek-V3.2 · 2025-12-02 · 核对 2026-10-22
  • DeepSeek-V4 model card · 未标日期 · 核对 2026-10-22
• 改进 · DeepSeek V4.1-Flash · Cross-layer KV and index reuse

  CSA2在压缩上下文上增加跨层KV与索引复用；不是权重继承声明。

  • DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression · 2026-09-17 · 核对 2026-10-23

2026-06-01 · MiniMax M3 · Block sparse attention · 型号实践

分块稀疏注意力 · MiniMax M3

当时的瓶颈

百万上下文的全注意力成本很高。

关键机制

MSA对KV分块预筛选；算子以KV为外循环聚合命中的查询，减少重复读取。

证据与条件

原始资料对应章节披露；未独立复现实验，不将型号应用日期视为方法首创。

新约束

收益依赖头配置与上下文；不能将M3实现套给M3.1 Flash。

原始资料与对应内容

MSA: Architectural Innovation Enables Context Scaling

• MiniMax M3 · 2026-06-01 · 核对 2026-10-23

关系

• 替代路线 · DeepSeek-V3.2 · DSA

  官方对照稀疏筛选路线，MSA采用分块与KV外循环执行。

  • MiniMax M3 · 2026-06-01 · 核对 2026-10-23

2026-09-17 · DeepSeek V4.1-Flash · Cross-layer KV and index reuse · 型号实践

跨层 KV 与索引复用 · DeepSeek V4.1-Flash

当时的瓶颈

长程Agent的KV存储与搬运成为瓶颈。

关键机制

CSA2分Full、Reindex与Reuse层：共享主KV与索引键，按层重新选取或复用Top-K。

证据与条件

原始资料对应章节披露；未独立复现实验，不将型号应用日期视为方法首创。

新约束

共享与重新索引存在精度／开销权衡；压缩缓存不等于无限上下文。

原始资料与对应内容

§2.3—2.3.1 CSA2

• DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression · 2026-09-17 · 核对 2026-10-23

关系

• 改进 · DeepSeek-V4 · CSA / HCA

  CSA2在压缩上下文上增加跨层KV与索引复用；不是权重继承声明。

  • DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression · 2026-09-17 · 核对 2026-10-23

2025-04-16 · o3 / o4-mini · interleaved tools · 型号实践

推理中交织工具 · OpenAI · o3 / o4-mini

当时的瓶颈

纯文本思考无法读取外部状态或执行计算。

关键机制

在推理过程中选择工具、读取结果并继续求解，预算包含工具调用。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

端到端延迟包含工具等待，带工具评测不能与纯模型直接混比。

原始资料与对应内容

Tool use during reasoning

• OpenAI o3 and o4-mini · 2025-04-16 · 核对 2026-10-22

关系

• 跨主线支撑 · o3 / o4-mini · tool training

  工具训练与推理时工具使用是同一能力的两面。

  • OpenAI o3 and o4-mini · 2025-04-16 · 核对 2026-10-22

2026-02-02 · Kimi K2.5 · parallel agents · 型号实践

并行智能体求解 · Kimi K2.5

当时的瓶颈

可拆分任务的串行执行累积等待时间。

关键机制

编排器动态分派并发子任务，再汇总结果；评估关注最长依赖路径。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

并发减少墙钟时间也可能增加总token，依赖链不能随意并行。

wall time ≥ longest dependency path
parallel wall time ≠ total token cost

原始资料与对应内容

摘要：方法与适用边界

• Kimi K2.5 · 2026-02-02 · 核对 2026-10-22

来源修订 2026-08-07

Agent swarm / critical steps

• Kimi K2.5: Parallel Agent Reinforcement Learning · 未标日期 · 核对 2026-10-22

关系

• 跨主线支撑 · Kimi K2.5 · PARL

  协作训练塑造推理阶段的编排策略。

  • Kimi K2.5 · 2026-02-02 · 核对 2026-10-22
  • Kimi K2.5: Parallel Agent Reinforcement Learning · 未标日期 · 核对 2026-10-22

2019-10-04 · ZeRO · 方法研究

训练状态分片 · ZeRO

当时的瓶颈

数据并行在每张卡重复保存模型训练状态。

关键机制

逐阶段分片优化器、梯度和参数，减少数据并行副本的状态冗余。

证据与条件

2019 ZeRO论文给出状态分片方案；理论状态节省不包含激活、通信缓冲和峰值收集开销。

新约束

分片节省内存但增加聚合通信，阶段选择依赖网络。

原始资料与对应内容

原始资料：方法与结果

• ZeRO: Memory Optimizations Toward Training Trillion Parameter Models · 2019-10-04 · 核对 2026-10-21

关系

2020-02-13 · DeepSpeed · 工程实现

分片工程实现 · Microsoft · DeepSpeed

当时的瓶颈

分片算法需要可用的训练运行时。

关键机制

DeepSpeed发布将ZeRO状态优化带入训练系统，协调显存与通信。

证据与条件

Microsoft的2020发布说明是项目采用证据；ZeRO论文时间仍保留为2019。

新约束

DeepSpeed是工程采用，不能作为ZeRO论文首发日期。

原始资料与对应内容

原始资料：方法与结果

• ZeRO & DeepSpeed release · 2020-02-13 · 核对 2026-10-21

关系

2018-11-16 · GPipe · 方法研究

流水线并行 · GPipe

当时的瓶颈

单设备无法容纳大模型。

关键机制

按层划分流水线并将batch拆为microbatch，摊薄流水线气泡。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

阶段不均衡与microbatch数量影响利用率和内存。

原始资料与对应内容

摘要：方法与适用边界

• GPipe · 2018-11-16 · 核对 2026-10-22

关系

2019-09-17 · Megatron-LM · 方法研究

张量并行 · Megatron-LM

当时的瓶颈

大矩阵和模型容量超出单GPU能力。

关键机制

在Transformer层内部切分张量运算，让多GPU协同承担一层计算。

证据与条件

2019 Megatron-LM研究层内模型并行；后续多种并行的组合单列在2021节点。

新约束

不同并行方式带来通信、流水线气泡与拓扑要求；不是 ZeRO 的替代品。

原始资料与对应内容

原始资料：方法与结果

• Megatron-LM · 2019-09-17 · 核对 2026-10-21

关系

2021-04-09 · TP × PP × DP · 方法研究

三维并行 · TP × PP × DP

当时的瓶颈

单一并行维度无法高效扩展超大模型。

关键机制

联合配置张量、流水线与数据并行，按网络拓扑和微批量协调通信与气泡。

证据与条件

2021工作研究大规模训练中的并行组合；不能只按GPU数量预测吞吐。

新约束

不同并行方式带来通信、流水线气泡与拓扑要求；不是 ZeRO 的替代品。

原始资料与对应内容

原始资料：方法与结果

• Efficient Large-Scale Language Model Training on GPU Clusters · 2021-04-09 · 核对 2026-10-21

关系

2023-09-25 · DeepSpeed Ulysses · 方法研究

序列并行 · DeepSpeed Ulysses

当时的瓶颈

长序列激活超过单设备容量。

关键机制

在序列与注意力头分片间用all-to-all转换，分布注意力计算。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

通信拓扑和可分配头数限制并行规模。

原始资料与对应内容

摘要：方法与适用边界

• DeepSpeed Ulysses · 2023-09-25 · 核对 2026-10-22

关系

• 跨主线支撑 · RoPE

  位置可扩展性与分布式长序列执行解决不同瓶颈。

  • RoFormer: Enhanced Transformer with Rotary Position Embedding · 2021-04-20 · 核对 2026-10-21
  • DeepSpeed Ulysses · 2023-09-25 · 核对 2026-10-22

2026-10-13 · Gemini 4 Argon · Distributed training on TPUs · 型号实践

TPU 上的分布式训练 · Gemini 4 Argon

当时的瓶颈

稀疏多模态模型需要规模化执行训练。

关键机制

模型卡明确训练使用TPU、JAX与ML Pathways；硬件与编程框架共同组织计算。

证据与条件

原始资料对应章节披露；未独立复现实验，不将型号应用日期视为方法首创。

新约束

未披露具体并行比例或服务调度，不能从品牌推断实现。

原始资料与对应内容

Implementation：Hardware／Software

• Gemini 4 Argon Model Card · 2026-10-13 · 核对 2026-10-23

关系

2022-05-27 · FlashAttention · 方法研究

IO 感知注意力 · FlashAttention

当时的瓶颈

注意力矩阵读写HBM成为瓶颈。

关键机制

分块加在线softmax减少HBM中间读写，保持标准注意力的数学运算。

证据与条件

2022 FlashAttention研究IO复杂度与内核实现；降低中间存储不等于把稠密交互变成线性复杂度。

新约束

优化执行方式，并未把标准稠密注意力变成线性复杂度。

原始资料与对应内容

原始资料：方法与结果

• FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness · 2022-05-27 · 核对 2026-10-21

关系

• 改进 · FlashAttention-2

  在IO感知分块上改善并行与非矩阵开销。

  • FlashAttention-2 · 2023-07-17 · 核对 2026-10-22

2023-07-17 · FlashAttention-2 · 方法研究

注意力并行优化 · FlashAttention-2

当时的瓶颈

降低HBM流量后，工作分配仍限制GPU占用率。

关键机制

减少非矩阵操作，重新组织线程块与warp之间的工作。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

收益依赖序列、头维度和硬件；计算复杂度未变。

原始资料与对应内容

摘要：方法与适用边界

• FlashAttention-2 · 2023-07-17 · 核对 2026-10-22

关系

• 改进 · FlashAttention

  在IO感知分块上改善并行与非矩阵开销。

  • FlashAttention-2 · 2023-07-17 · 核对 2026-10-22
• 改进 · FlashAttention-3

  针对Hopper重组异步流水线。

  • FlashAttention-3 · 2024-07-11 · 核对 2026-10-22

2024-07-11 · FlashAttention-3 · 方法研究

Hopper 异步流水 · FlashAttention-3

当时的瓶颈

通用执行流程未充分利用Hopper异步硬件。

关键机制

warp专门化与异步流水线重叠矩阵乘和数据搬运。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

对Hopper的优化不能直接视为所有GPU的收益。

原始资料与对应内容

摘要：方法与适用边界

• FlashAttention-3 · 2024-07-11 · 核对 2026-10-22

关系

• 改进 · FlashAttention-2

  针对Hopper重组异步流水线。

  • FlashAttention-3 · 2024-07-11 · 核对 2026-10-22
• 改进 · FlashAttention-4

  针对Blackwell不均衡硬件扩展重排瓶颈。

  • FlashAttention-4 · 2026-03-05 · 核对 2026-10-22

2025-01-02 · FlashInfer · 工程实现

推理注意力内核 · FlashInfer

当时的瓶颈

服务中的KV布局与请求形状高度异构。

关键机制

用可定制注意力内核、JIT与负载组织适配不同KV结构和服务阶段。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

内核选择、编译和动态请求管理也有成本。

原始资料与对应内容

摘要：方法与适用边界

• FlashInfer · 2025-01-02 · 核对 2026-10-22

关系

2026-03-05 · FlashAttention-4 · 方法研究

Blackwell 内核 · FlashAttention-4

当时的瓶颈

Blackwell矩阵吞吐增长快于指数单元与共享内存带宽。

关键机制

重排异步MMA流水线，软件指数与条件softmax缩放减少非矩阵瓶颈，反向利用TMEM。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

这是针对硬件不均衡的优化，比较需注明B200、精度及形状。

原始资料与对应内容

摘要：方法与适用边界

• FlashAttention-4 · 2026-03-05 · 核对 2026-10-22

关系

• 改进 · FlashAttention-3

  针对Blackwell不均衡硬件扩展重排瓶颈。

  • FlashAttention-4 · 2026-03-05 · 核对 2026-10-22

2023-09-12 · PagedAttention / vLLM · 方法研究

分页 KV 缓存 · vLLM

当时的瓶颈

连续预留KV造成碎片与过度预留。

关键机制

用块表将逻辑token映射到非连续物理KV块，按需分配与共享。

证据与条件

2023 PagedAttention／vLLM论文研究KV管理；其收益是减少浪费，不是直接缩小单token表示。

新约束

不改变模型在数学上所需的 KV 量；可与 GQA、MLA 和阶段分离结合。

原始资料与对应内容

原始资料：方法与结果

• Efficient Memory Management for Large Language Model Serving with PagedAttention · 2023-09-12 · 核对 2026-10-21

关系

• 跨主线支撑 · GQA

  表示压缩与内存分页互补，不互相替代。

  • GQA: Training Generalized Multi-Query Transformer Models · 2023-05-22 · 核对 2026-10-21
  • Efficient Memory Management for Large Language Model Serving with PagedAttention · 2023-09-12 · 核对 2026-10-21

2023-12-12 · SGLang · RadixAttention · 方法研究

前缀缓存复用 · SGLang

当时的瓶颈

多轮和分支请求重复计算共享前缀。

关键机制

用radix tree组织前缀KV复用和驱逐，与请求调度配合。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

命中率由工作负载决定；缓存占用与租户隔离仍需管理。

原始资料与对应内容

摘要：方法与适用边界

• SGLang / RadixAttention · 2023-12-12 · 核对 2026-10-22

关系

2022-07 · Orca · 方法研究

迭代级调度 · Orca

当时的瓶颈

整请求批处理等待较慢请求，槽位无法及时复用。

关键机制

在每轮迭代接纳新请求、移除已完成请求，避免等待整个静态批次。

证据与条件

OSDI 2022的Orca提出迭代级调度等设计；吞吐需与首token及尾延迟联合评估。

新约束

高吞吐不等于好的交互体验。需报告 TTFT、token 间延迟、尾分位和满足 SLO 的吞吐，并给定到达率、输入／输出长度分布。过度合批可能提高吞吐却使每个用户更慢。

原始资料与对应内容

原始资料：方法与结果

• Orca: A Distributed Serving System for Transformer-Based Generative Models · 2022-07 · 核对 2026-10-21

关系

• 改进 · Sarathi-Serve

  迭代调度进一步控制prefill块对decode的干扰。

  • Sarathi-Serve · 2024-03-04 · 核对 2026-10-22

2024-03-04 · Sarathi-Serve · 方法研究

分块预填充调度 · Sarathi-Serve

当时的瓶颈

大prefill阻塞decode，吞吐和延迟相互牵制。

关键机制

把prefill切块并与decode混批，使每次迭代工作量更可控。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

chunk大小影响首token与后续token延迟，需按SLO选取。

原始资料与对应内容

摘要：方法与适用边界

• Sarathi-Serve · 2024-03-04 · 核对 2026-10-22

关系

• 改进 · Orca

  迭代调度进一步控制prefill块对decode的干扰。

  • Sarathi-Serve · 2024-03-04 · 核对 2026-10-22

2024-01-17 · DistServe · 工程实现

预填充 / 解码分离 · DistServe

当时的瓶颈

Prefill与decode资源需求不同且互相干扰。

关键机制

分离Prefill与Decode资源，分别优化首token与生成时延并传递KV状态。

证据与条件

2024 DistServe研究分离部署的有效吞吐；状态传输、资源配比与SLO是必要条件。

新约束

需要承担 KV / 嵌入传输和资源调配成本；收益依赖流量、网络与硬件。

原始资料与对应内容

原始资料：方法与结果

• DistServe: Disaggregating Prefill and Decoding · 2024-01-17 · 核对 2026-10-21

关系

• 组合 · Dynamo · PD

  PD分离与生产路由、KV传输及资源规划结合。

  • Introducing NVIDIA Dynamo · 2025-03-18 · 核对 2026-10-21

2025-03-18 · Dynamo · PD · 工程实现

分布式 PD 调度 · NVIDIA Dynamo

当时的瓶颈

PD部署还需要路由、传输和动态资源规划。

关键机制

Dynamo引入PD分离与KV感知路由，按请求状态和资源池调度。

证据与条件

NVIDIA于2025-03-18披露系统设计；项目支持某机制不表示每个部署都启用它。

新约束

需要承担 KV / 嵌入传输和资源调配成本；收益依赖流量、网络与硬件。

原始资料与对应内容

原始资料：方法与结果

• Introducing NVIDIA Dynamo · 2025-03-18 · 核对 2026-10-21

关系

• 组合 · DistServe

  PD分离与生产路由、KV传输及资源规划结合。

  • Introducing NVIDIA Dynamo · 2025-03-18 · 核对 2026-10-21
• 改进 · Dynamo · EPD

  多模态进一步拆出编码阶段，并列明适用工作负载。

  • When to Use Encode-Prefill-Decode Disaggregation · 2026-09-09 · 核对 2026-10-21

2026-09-09 · Dynamo · EPD · 工程实现

编码 / 预填充 / 解码 · Dynamo · EPD

当时的瓶颈

多模态编码与语言模型执行的资源需求不同。

关键机制

将多模态Encode进一步分离，与Prefill、Decode分别扩缩容并传输状态。

证据与条件

2026-09-09官方分析讨论EPD适用条件；需要按模态、输入长度、硬件、网络和流量评测。

新约束

需要承担 KV / 嵌入传输和资源调配成本；收益依赖流量、网络与硬件。

原始资料与对应内容

原始资料：方法与结果

• When to Use Encode-Prefill-Decode Disaggregation · 2026-09-09 · 核对 2026-10-21

关系

• 改进 · Dynamo · PD

  多模态进一步拆出编码阶段，并列明适用工作负载。

  • When to Use Encode-Prefill-Decode Disaggregation · 2026-09-09 · 核对 2026-10-21
• 跨主线支撑 · Qwen3.5

  多模态模型引入编码负载；是否拆分取决于实测，不表示Qwen使用Dynamo。

  • Qwen3.5 · 2026-02-15 · 核对 2026-10-22
  • When to Use Encode-Prefill-Decode Disaggregation · 2026-09-09 · 核对 2026-10-21

2024-12-27 · DeepSeek-V3 · DualPipe / FP8 · 工程实现

通信重叠与 FP8 · DeepSeek-V3

当时的瓶颈

MoE跨设备通信暴露在计算关键路径上。

关键机制

双向流水线重叠通信与计算，FP8配合高精度累加和敏感操作控制训练成本。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

需要适配拓扑、调度和数值配方；不是所有张量均用FP8。

原始资料与对应内容

Infrastructure / FP8 training

• DeepSeek-V3 Technical Report · 2024-12-27 · 核对 2026-10-21

来源修订 2025-02-18

关系

• 跨主线支撑 · DeepSeek-V3 · load balancing

  MoE训练要求计算与专家通信协同设计。

  • DeepSeek-V3 Technical Report · 2024-12-27 · 核对 2026-10-21
• 组合 · DeepEP

  流水线调度与专家通信内核可在不同层共同优化。

  • DeepSeek-V3 Technical Report · 2024-12-27 · 核对 2026-10-21
  • DeepEP: expert-parallel communication · 2025 · 核对 2026-10-22

2025 · DeepEP · 工程实现

专家并行通信 · DeepSeek · DeepEP

当时的瓶颈

专家分发和合并的通信路径限制MoE效率。

关键机制

为MoE提供高吞吐和低延迟通信内核，适配训练／prefill与decode需求。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

依赖支持的GPU与网络；工程开源时间不改写MoE起源。

原始资料与对应内容

README: kernels / requirements

• DeepEP: expert-parallel communication · 2025 · 核对 2026-10-22

关系

• 组合 · DeepSeek-V3 · DualPipe / FP8

  流水线调度与专家通信内核可在不同层共同优化。

  • DeepSeek-V3 Technical Report · 2024-12-27 · 核对 2026-10-21
  • DeepEP: expert-parallel communication · 2025 · 核对 2026-10-22

2026-04-14 · Nemotron 3 Super · NVFP4 · 型号实践

低精度训练执行 · Nemotron · NVFP4

当时的瓶颈

更低精度训练需要同时控制误差和吞吐。

关键机制

报告采用NVFP4预训练，在完整训练配方中验证低精度，而非仅量化部署权重。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

需要对应硬件与缩放方案，不能推广到任意4bit格式。

原始资料与对应内容

摘要：方法与适用边界

• Nemotron 3 Super · 2026-04-14 · 核对 2026-10-22

关系

• 跨主线支撑 · Nemotron 3 Super

  同一型号的结构与低精度预训练配方。

  • Nemotron 3 Super · 2026-04-14 · 核对 2026-10-22

2024-09-28 · HybridFlow / verl · 方法研究

训练—采样协同 · HybridFlow / verl

当时的瓶颈

RL有多个模型角色，训练与生成分片布局不同。

关键机制

混合控制流表达分布式数据流，重组actor分片以切换训练和生成。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

放置、重分片与角色调度仍依赖集群和工作负载。

原始资料与对应内容

摘要：方法与适用边界

• HybridFlow · 2024-09-28 · 核对 2026-10-22

关系

• 跨主线支撑 · DAPO

  DAPO开源实现基于verl。

  • DAPO · 2025-03-18 · 核对 2026-10-22
• 替代路线 · AReaL

  多角色编排与异步采样是不同系统设计重点，并非直接继承。

  • HybridFlow · 2024-09-28 · 核对 2026-10-22
  • AReaL · 2025-05-30 · 核对 2026-10-22
• 替代路线 · Mistral Large 4 · Asynchronous long-trajectory RL

  同属训练与采样协同问题的实现对照；不声称Mistral使用HybridFlow。

  • Introducing Mistral Large 4 · 2026-10-06 · 核对 2026-10-23

2025-05-30 · AReaL · 方法研究

异步强化学习系统 · AReaL

当时的瓶颈

同步RL需等待最长输出，训练设备空闲。

关键机制

解耦采样与训练持续执行，通过负载平衡与滞后感知更新控制旧策略样本。

证据与条件

原始资料支持上述机制；性能数字依赖原文任务、模型与硬件，本站不将其当作跨条件实测。

新约束

吞吐提升伴随策略滞后约束，不能无限积压旧轨迹。

policy lag = current update − rollout policy version

原始资料与对应内容

摘要：方法与适用边界

• AReaL · 2025-05-30 · 核对 2026-10-22

来源修订 2026-03-02

关系

• 替代路线 · HybridFlow / verl

  多角色编排与异步采样是不同系统设计重点，并非直接继承。

  • HybridFlow · 2024-09-28 · 核对 2026-10-22
  • AReaL · 2025-05-30 · 核对 2026-10-22
• 跨主线支撑 · Kimi k1.5

  长输出RL的等待问题促使异步系统优化；不表示k1.5采用AReaL。

  • Kimi k1.5 · 2025-01-22 · 核对 2026-10-22
  • AReaL · 2025-05-30 · 核对 2026-10-22

2026-10-06 · Mistral Large 4 · Asynchronous long-trajectory RL · 型号实践

异步长轨迹 RL 执行 · Mistral Large 4

当时的瓶颈

长工具轨迹采样耗时，训练等待采样会浪费资源。

关键机制

扩缩容actor并行生成轨迹，训练异步推进；任务组合单测、奖励模型与检查器。

证据与条件

原始资料对应章节披露；未独立复现实验，不将型号应用日期视为方法首创。

新约束

需控制策略陈旧与off-policy偏移；文中吞吐不可脱离配置比较。

原始资料与对应内容

Reinforcement learning at scale

• Introducing Mistral Large 4 · 2026-10-06 · 核对 2026-10-23

关系

• 替代路线 · HybridFlow / verl

  同属训练与采样协同问题的实现对照；不声称Mistral使用HybridFlow。

  • Introducing Mistral Large 4 · 2026-10-06 · 核对 2026-10-23