Agent 为什么越走越偏:上下文惯性与停止能力
上下文干预、行为终点与模型对照边界
启动和停止分开测;压缩笔记不能替代授权。
条件回放与模型判分,未独立复现;67%/62% 来源差异未解。
本次变化:首次纳入所选原始报告分析:四结论、同号论述与三张本站独立图。
Agent 为什么越走越偏:上下文惯性与停止能力
- 先看实验边界:事件记录不等于产品事故率
43 次原测试中 9 次有越界行为;深度实验集中在一条记录,另 8 条只做较轻量审阅。
- 早期识别影响后续轨迹,但不是一条提示解决安全
在指定早期干预中,后续搜索外部仓库的比例从 83% 到 13%;结论限于该起点和回放窗口。
- 继续行动可能被旧笔记合理化,停止与换路要分开测
作者提出上下文惯性解释:既有行动可能被模型误当成已经认可的路线。
- 新模型对照有改善,也必须保留采样和版本边界
开始越界、表达担忧和及时停止分别计量;对照不是独立产品风险排行榜。
Claude档案