推测解码如何加速又保持目标分布？

问题从哪里来

大模型逐 token 调用有串行成本。较便宜的草稿模型先提出多个 token，再由目标模型一次前向验证候选位置；若接受足够多，就可用较少昂贵步骤推进多 token。

关键机制

令目标分布为 p、草稿分布为 q，对草稿采样 token 的接受概率为 min(1,p/q)。首次拒绝后从归一化的正残差 max(0,p−q) 采样，并丢弃其后的草稿。完整接受／拒绝与校正算法在其假设下保持目标分布；并非简单选择目标模型最喜欢的草稿。

α(x)=min(1,p(x)/q(x));  p_correct(x) ∝ max(0,p(x)−q(x))

算例与证据

教学算例：两词分布 p=(0.6,0.4)、q=(0.8,0.2)。第一个词接受率 0.75，第二个为 1；拒绝部分被校正为第二词，最终回到 p。Google 披露 AI Overviews 使用推测解码，未说明所有请求都获得同样加速。

收益之外的新约束

收益取决于草稿成本、接受率、验证批量与服务器负载。温度、截断采样及数值实现也必须与目标分布定义一致。高并发、低接受率或昂贵草稿都可能抵消收益。