低比特量化省了什么，又损失什么？

问题从哪里来

权重从高精度数转换为低比特编码可减少存储和读取流量，但量化误差可能改变模型行为。权重量化、激活量化与 KV 量化针对不同张量，不能用一个“4 bit”标签概括整个推理过程。

关键机制

分组量化为一组数保存比例尺与可能的零点；编码舍入并截断，执行时直接使用低比特内核或反量化。AWQ 根据激活信息识别敏感权重并调整缩放，目标是在低比特权重量化中控制质量损失。

q = clip(round(w/s)+z);  ŵ = s(q−z)

算例与证据

教学算例：10B 权重仅按编码计，FP16 约 20GB，4-bit 约 5GB（十进制）；实际还要加比例尺、零点和未量化张量。权重减小四倍不代表总显存或服务延迟也缩小四倍。

收益之外的新约束

异常值、校准数据与任务分布影响误差；硬件是否支持高效内核决定收益。上线前要验证长上下文、特定领域和输出一致性，不能只测一个平均分。