Prefill／Decode 何时值得分开？

问题从哪里来

Prefill 并行处理输入，decode 逐步生成，两者的计算与带宽需求以及时延目标不同。混跑可能互相干扰。DistServe 在2024年研究分离部署；NVIDIA Dynamo 在2025年披露 PD 分离，2026年进一步讨论多模态 EPD 的适用条件。

关键机制

PD 把输入处理和生成放到不同资源池，传递 KV 状态，并按各自负载调度。EPD 进一步把图像／视频等编码阶段独立出来，编码输出仍需送往语言模型。收益来自减少干扰与独立配比，不来自免费获得更多计算。

T_transfer ≳ state_bytes / effective_link_bandwidth

算例与证据

教学下界：1 GiB 状态经过有效带宽25 GiB/s的链路，纯传输至少约40ms，另有排队与协调成本。若避免的干扰小于这些新增成本，分离可能不划算；需按到达率、模态、输入长度、硬件与 SLO 重测。

收益之外的新约束

低负载、短请求或慢网络可能不适合分离；独立资源池还会出现容量配比失衡。2026-09-09 的 EPD 来源是有条件的技术分析，不代表所有多模态服务都应该拆成三个池。