Claude怎样低成本自查滥用，为什么不能独立防越狱？

1. 复用已经做过的计算，让监控更容易覆盖大量对话

Anthropic把自评安排在Claude完成回答之后。模型复用已有对话KV缓存，收到短反思指令后输出是否需要标记；被标记时再记录原因、类别、细类、是否拒绝及 1–10优先级。反思指令与评估不展示给用户，也不会带入后续对话。

1. 监督微调使用合成对话和教师评估，只对评估部分计算训练损失，避免同时学习生成有害回答。
2. 强化学习奖励检查JSON格式、标记、类别、细类、拒绝状态和优先级与教师的一致性。教师本身能阅读完整政策并推理，学生被训练为直接给出短评估。

适用边界：采用边界：论文的低计算增量不表示任何第三方Agent都能直接获得相同功能或费用；脚注说明该成本不向客户计费。

Scaling Misuse Detection with Self-Assessment · Anthropic · 2026-10-16 · Introduction; Method

2. 召回率衡量的是教师标签，需要保留分母和实验设置

生产评测使用随机抽取的流量，由基于Claude Mythos Preview、提示中含完整政策的分类器标注。在 1%假阳性率这个运行点，Fable5自评检出教师标记对话的 78%，高优先级priority>=7子集的 94%。高优先级是不同分母，不能将两根柱相加或推出实际用户违规比例。

作者另以XS、S、M、L四种规模、仅监督微调的模型做独立评测，报告能力随规模提高；这些数字不能与生产Fable5直接拼接。留出类别实验中，生产欺诈召回从 83.3%降至 82.1%，网络安全从 94.2%降至 90.7%；它支持对这两种类别的泛化，仍不足以证明发现任何尚未知晓的伤害。

适用边界：证据边界：自评学习教师，又以同一教师评价。教师盲点可能同时进入训练和测试；报告没有提供这里的生产样本总数或完整观察起止日。

Scaling Misuse Detection with Self-Assessment · Anthropic · 2026-10-16 · Results; Figures1–3

3. 离线筛查有价值，直接面对自适应攻击仍不可靠

攻击实验使用内部harness，由编排模型指导攻击者完成 24项网络安全任务。比较无防护、自评作为阻断器、独立提示分类器三种配置，生产分类器均关闭。每次被拦截后，攻击者可以回退并更换请求，因此阻断反馈也帮助其适应防护。

1. 无防护成功 19/24，自评阻断成功 13/24，独立提示分类器成功 6/24；三种情况都仍有成功攻击。
2. 实际生产自评是被动离线监控，不在每次回答时向攻击者暴露拦截信号；另有实时分类器和防护负责阻断。两种工作模式必须分开。

作者结论：作者明确：对直接优化逃避自评的攻击者，这套方法不够鲁棒。少花计算做更广监控，不意味着可以取消独立实时防护。

Scaling Misuse Detection with Self-Assessment · Anthropic · 2026-10-16 · Results: Can self-assessment block attacks?; Figure4

4. 监控标记应进入复核，数据与模型自评边界仍要保留

作者称自Fable5于六月推出后，在大部分流量上被动运行自评；高优先级信号可按组织聚合后送交人工调查，也可用于查找现有分类器遗漏和新的可疑模式。这是作者对部署经验的报告，不能等同于独立效果验证或任何一次标记都已确认有害。

1. 1%假阳性率在大规模流量上仍可能产生很多正常对话标记，需保留优先级、重复信号和人工复核。
2. 评估中的自由文本原因可能改写用户内容，沿用相应数据治理；当前不在零数据保留协议流量上运行。
3. 模型可能重复自己先前的判断偏差；潜在不诚实、共享缓存串谋和教师盲点，限制其监控自身行为的可靠性。

适用边界：本站判断：把“模型能否自评”“自评是否低成本”“是否可抵抗自适应攻击”作为三个独立验收问题。报告支持分层监督，不支持把自评接到自动处罚或无限权限执行。

Scaling Misuse Detection with Self-Assessment · Anthropic · 2026-10-16 · Discussion: Data Handling / Limitations; footnotes1,4,8