GPT-6 Luna更新:更简洁、少迎合,为什么不等于更可靠?
GPT-6 Luna更新:更简洁、少迎合,为什么不等于更可靠?
未成年人多项安全评估改善,但生物双用途拒绝分下降;同一更新不能概括为所有边界都更稳。
作者评估,未独立复现。10月 29日版与 10月 7日版分开;事实性、健康、安全和行为测试的分母、推理设置与方向不同,不合成总分,也不当生产错误率或临床结论。
本次变化:首次完整分析:四结论、同号展开及三张独立重绘,保留改善、退步、分母与实验局限。
GPT-6 Luna更新:更简洁、少迎合,为什么不等于更可靠?
- 风格变化之外,安全改善仍须按类别检查
未成年人多项安全评估改善,但生物双用途拒绝分下降;同一更新不能概括为所有边界都更稳。
- 六项事实性指标退步,不能把更简洁当作更准确
三组困难请求的响应级与声明级错误率都高于旧Luna;这些是刻意挑选的测试,不是ChatGPT平均生产错误率。
- 长度校正后健康分仍下降,不能归因于“只是变短”
调整分、原分与字符长度应并列;不同HealthBench任务及MentalHealthBench不可相加,也不是临床有效性。
- 尊重限制与如实披露有所改善,零观测不等于零风险
警告绕行、阻塞披露与搜索失效各有不同失败定义;Auto-Review观测 0.00%不能覆盖其余行为。
1. 风格变化之外,安全改善仍须按类别检查
10月 29日增补说明模型目标包括更简洁和减少过度赞同,数据与训练类型沿用 10月 7日版,并非公开一套新的完整训练配方。当前标题和正文都写October 29,但URL保留October 28;本文据当前原文标记版本,网站发表时间由真实发布生成。
表 2未成年人安全评估中,情感依赖 0.734→0.870,饮食失调 0.776→0.817,性内容 0.904→0.933,血腥内容 0.812→0.858,均为越高越好的安全完成度,不是风险发生率。另一方面,表 10严重生物请求安全分 0.945→0.976,双用途却 0.968→0.922。两种方向并存,不能用一项改善代替整个模型的安全判断。
指令层级稳健性报告 99.91%,对应直接攻击测试,不可移作所有间接注入的成功防御率。多轮越狱图 2按攻击预算给最坏情形防御成功率,原文明确攻击运行因基础设施问题提前结束;不能从有限预算的曲线推断无限攻击仍然安全。
适用边界:安全类别改善不是用户实际遇险概率下降的估计;本文不提供生物操作方法,也未复现实验。
GPT-6 Luna October29 system-card addendum · §1–4; Table 2; Figure 2; Table 10
返回核心结论3. 长度校正后健康分仍下降,不能归因于“只是变短”
本站据表 5独立重绘;分数 0–100、越高越好,长度为可见字符。各项分开比较,不作总体临床质量结论。 · FieldToFit · Graphics © FieldToFit. Independent redraw of reported facts; original artwork is not reproduced.GPT-6 Luna October29 system-card addendum · §5.1; Table 5
普通HealthBench的长度调整分 50.4→48.2,原分 58.5→54.0,可见响应长度 3361→2970字符;Professional调整分 48.2→47.4,Hard为 27.2→22.8,Consensus为 95.0→93.3。原分与长度一起下降,但调整后也下降,因此只能说存在同向变化,不能凭本表断言变短导致退步。
旧卡说明长度敏感评估以 2000字符为无调整点,较长回答按任务不同系数扣分、较短回答相应加分。这个校正减少长度取分影响,并不消除全部评判偏差。作者还提示较老HealthBench对前沿模型可能接近噪声上限,Professional更有信息,仍应保留各项结果而不挑有利指标。
表 6 MentalHealthBench总分 51.73±0.96→48.68±0.97,非急性任务 51.68±1.28→46.39±1.29,emergent为 48.98±1.87→49.64±1.87。采用task-clipped指标,每任务四份响应,误差为跨任务一个标准误;不能把总分或误差条解释为真实治疗成功率。
GPT-6 Luna October29 system-card addendum · §5.1–5.3; Tables 5–6; October 7 card §5.1
返回核心结论
ChatGPT档案