长上下文为什么不等于可靠长记忆？

问题从哪里来

模型能够接收更多 token，只说明接口或结构允许更长输入，不证明能可靠使用其中每个事实。Lost in the Middle 在其被测模型和检索／问答任务中观察到位置敏感性：信息在中间时表现可能更差。

关键机制

RoPE 将位置编码为 Query／Key 的旋转，使点积携带相对位置信息。扩展窗口还需要考虑训练长度分布、位置外推或缩放与验证；它不解决所有检索干扰。应把“放得下”“找得到”“推得对”分成三个测量。

dense attention work ∝ T²; standard KV payload ∝ T

算例与证据

教学检查：将同一证据分别放在开头、中间、结尾，并加入相似干扰材料，比较引用正确性与回答质量。固定问题与长度才能隔离位置效应；历史研究结果不能直接当成今天所有模型的能力判定。

收益之外的新约束

长输入增加 prefill 成本与 KV 占用；压缩、检索和摘要可能漏掉关键细节。实际系统需要证据定位、引用检查与任务级评测，不能只依据最大窗口数字选型。