Dense 和 MoE 究竟在交换什么？

问题从哪里来

稠密模型通常对每个 token 使用全部前馈层参数，扩大容量会增加该部分计算。MoE 用多个专家扩展容量，让每个 token 只调用部分专家。它改变的是容量和计算的关系，不保证显存、延迟与训练难度同时下降。

关键机制

路由器给 token 分配专家，专家处理后再合并结果。Switch 研究了 top-1 路由；其他系统采用多专家和共享专家。总参数影响存储，激活参数更接近单 token 计算主项，但注意力、路由和设备间交换仍要计算。

y(x) = Σᵢ∈Top-k(x) gᵢ(x) Eᵢ(x)

算例与证据

公开实践：Gemini 1.5 Pro、DeepSeek-V3 与 Qwen3-235B-A22B 都披露 MoE；Qwen3 同时提供稠密型号。不能把一家公司的整个产品族贴成唯一架构，也不能把 A22B 视为整个模型只需存储 22B 参数。

收益之外的新约束

专家不均衡会造成热点、空闲或容量溢出；跨设备 all-to-all 又受拓扑与带宽影响。需要结合批量、负载均衡策略和真实服务延迟评价稀疏收益。