数据、张量、流水线和专家并行怎样组合？

问题从哪里来

当单设备无法承担参数、激活或计算，系统必须分工。不同并行方式切不同对象：DP 切样本，TP 切层内张量，PP 切层，EP 切专家。它们可以组合，但不是四个互不影响的倍数。

关键机制

TP 在一层中频繁交换部分结果，通常适合快互联；PP 在阶段间传激活，使用微批量填充流水线；DP 同步梯度或分片状态；EP 根据路由执行 token 的分发与回收。MoE 系统中 EP 常与 DP 组的布局耦合。

For a simple dense mesh: devices = DP × TP × PP

算例与证据

教学布局：16 卡可按 DP=2、TP=4、PP=2 组织。把 TP 组放到快速节点内、PP 跨阶段是可评估的起点，最终要测量；不在公式中盲目再乘 EP。Megatron 2019 展示层内并行，2021 工作研究多种并行组合。

收益之外的新约束

PP 存在气泡与阶段不均衡，TP 可能被集合通信拖慢，EP 受热门专家和 all-to-all 影响。应联合检查显存、网络拓扑、有效批量和故障恢复，而非只追求卡数。