T01 · Transformer 为什么更适合并行训练？
分清训练中的位置并行与生成时的自回归依赖。
重要问题目录
2017—2026：训练、推理、系统。沿着瓶颈理解创新与新约束。
内容修订 4 · 2026-10-24
Train · 训练
T02 · 同样算力，参数与训练 token 如何分配？
用预算曲线理解 Scaling laws 与 Chinchilla 的转折。
T03 · Dense 和 MoE 究竟在交换什么？
总参数、激活参数、路由和通信要分开看。
T04 · SFT、奖励模型、RLHF 分别解决什么？
从预测文本转向利用示范和偏好。
T05 · DPO 为何可以省掉独立奖励模型？
理解隐式奖励与离线偏好对的作用。
T06 · 可验证奖励怎样塑造推理行为？
区分 R1-Zero 探索与 R1 多阶段训练。
Inference · 推理
I01 · KV cache 为什么随上下文和并发增长？
把缓存容量写成可检查的 MiB 算式。
I02 · MQA、GQA 和 MLA 分别怎样减少 KV？
共享 KV 头与压缩潜变量是不同的设计。
I03 · 推测解码如何加速又保持目标分布？
接受／拒绝与校正采样缺一不可。
I04 · 长上下文为什么不等于可靠长记忆？
窗口大小、位置信息与检索能力分开验证。
I05 · 更多推理计算应该花在何处？
在串行思考、并行候选与验证之间分配预算。
I06 · 低比特量化省了什么，又损失什么？
分开核算权重、激活和 KV 的精度。
System · 系统（推训）
S01 · ZeRO 把哪些训练状态分片了？
逐级拆开参数、梯度和优化器状态的冗余。
S02 · 数据、张量、流水线和专家并行怎样组合？
按切分对象与通信路径选择设备布局。
S03 · FlashAttention 为什么不改公式却更快？
区分 FLOPs、显存 IO 与中间矩阵存储。
S04 · PagedAttention 如何减少 KV 分配浪费？
逻辑连续的序列不必占用连续物理显存。
S05 · 连续批处理如何兼顾吞吐和用户延迟？
在每轮迭代调度请求，而不等待整批结束。
S06 · Prefill／Decode 何时值得分开？
把独立扩缩容收益与状态传输成本一起算。