代码能跑，还能保持原来行为吗？OpenAI 的多语言评测

1. 多语言能力进步明显，平均分仍需拆开看

OpenAI 把初始数据库和 SQL 作为共同接口，让模型用指定语言从零构建 SQLite 兼容引擎，再由参考实现检查修改后的数据库内容。这要求模型维护状态、处理错误并增补功能；测量的是长编码会话中构建了多少可通过测试的功能。

1. 平均值依次为 GPT-5.6 Sol 26.8%、GPT-6 Luna 40.3%、GPT-6 Astra 87.4%。这是测试通过率，不是全部任务一次成功的概率。
2. Astra 在 19／20 种语言中超过 83%，COBOL 为 72.1%。选择模型时应先看团队实际使用语言、失败类型和业务边界，而非只看总体均值。

适用边界：证据边界：结果由模型作者报告，本站未独立重跑；正文未给出逐语言误差区间，不能把小差异解释成已证实的统计优势。

OpenAI 低资源编程语言研究公告（10月 19日来源日期） · Section 1

2. 迁移的关键是保持行为，验收比代码能运行更严格

第二项任务将 COBOL 程序迁移到 C++、Java、Kotlin、Python 或 Rust。作者强调语言语义可能承载既有业务规则：例如未明确请求舍入时，COBOL 定点算术会丢弃多余小数位；迁移后改为舍入，即使程序能跑，也可能改变结果。

相同低推理强度下，GPT-6.1 Sol 为 86.6%，GPT-5.6 Sol 为 5.4%；新模型在更高强度达到 97.9%。前一个数据库评测可获得部分功能分，这里却须全部测试通过，两者分数不能横向当成同一指标。

适用边界：上线边界：隐藏测试覆盖以外的依赖、数据、权限和业务规则仍须专家核对。97.9%不是生产系统零风险迁移的保证。

OpenAI 低资源编程语言研究公告（10月 19日来源日期） · Section 2

3. 成本优势有参考价值，但必须保留任务单位与基线

作者估算 MultiLangBench 中 GPT-6 Luna 平均每样本 0.77 美元，GPT-5.6 Sol 为 3.48 美元，约低 78%。这同时伴随测试通过率从 26.8%升至 40.3%，仍远低于 Astra 的 87.4%；不能只用更便宜推导任务已经足够可靠。

迁移评测中新 Sol 低强度的成本为旧 Sol 的 61%，即约低 39%，同时迁移成功率更高。文章未充分披露每项成本的计价日期、全部提示与重试配置，读者仍需在自己的流程中计入验证、失败重跑和人工复核。

关键证据：本站建议：先固定任务、推理强度、验证规则和预算，再比较成功完成一次任务的总费用；不要从每样本结果反推通用百万 token 价格。

OpenAI 低资源编程语言研究公告（10月 19日来源日期） · Sections 1 and 2: cost

4. 公开评测便于追查，测试子集和生产验收仍有缺口

公开仓库说明：约 51k 条 SQLite 原始 TCL 测试中，约 24k 条转换到共同接口；默认使用哈希以 00、01、02 开头的 272 条测试，也可运行完整转换集来提高高分区的精度。README 采用 SQLite 3.40.1 参考语义，单测试超时 60 秒。

1. 运行环境需提供指定文档，隔离已有 SQLite 库、可执行文件及嵌入实现，并限制联网；不符合目标语言或混入其他实现会影响有效性。本站仅阅读仓库，不运行上游代码。
2. 不能因为 README 默认 272 条，就断言研究图全部采用 272 条。各结果所用子集、重复次数、完整提示、预算与误差估计尚未核齐；COBOL 迁移隐藏测试的完整规模也未在所读正文披露。

适用边界：证据分层：作者实验结果、公开仓库协议和本站采用建议分别记录。实验进步支持进一步试验，不代替真实系统的回归测试、审计和回滚。

OpenAI MultiLangBench 官方开源仓库 · README: Test Suite / Usage / Grading

OpenAI 低资源编程语言研究公告（10月 19日来源日期） · Section 1: release of evaluation setup and test suite; repository adds protocol details