COBOL 也难不倒它:GPT-6 Astra 低资源语言测试通过率 87.4%,COBOL 翻了近七倍
AI 写代码的评测卷烂了 Python 和 JavaScript 之后,OpenAI 把枪口转向了没人盯的地方:低资源编程语言。10 月 19 日发布的研究显示,最新模型在 COBOL、Fortran、Visual Basic 这些“训练语料稀缺”的语言上进步惊人。
两项新评测
第一项叫 MultiLangBench,考“从零构建”:让模型从头写一个 SQLite 兼容的数据库引擎,20 种语言各来一遍,用参考实现校验结果。GPT-6 Astra 在最高推理档的平均测试通过率 87.4%;便宜档的 GPT-6 Luna 是 40.3%,但成本只有基线的两成左右;上代 GPT-5.6 Sol 只有 26.8%。单语言看更夸张:Astra 的 COBOL 从 10.9% 跳到 72.1%,OCaml 85.8%,Fortran 83.5%,Visual Basic 89.4%——20 种语言里 19 种超过 83%。评测已在 GitHub 开源。
第二项考“迁移不变形”:把 COBOL 程序迁到 C++、Java、Kotlin、Python 或 Rust,要求隐藏测试逐字节一致——COBOL 定点算术默认截断不四舍五入这种老业务行为,都得原样保留。GPT-6.1 Sol 低推理档 86.6%,高推理档 97.9% 接近饱和;同设置的 GPT-5.6 Sol 只有 5.4%。
为什么非卷这个不可
OpenAI 在博客里摆的背景很硬:COBOL 支撑着 40% 以上的在线银行系统、80% 的线下信用卡交易、95% 的 ATM 交易;Fortran 跑在天气预报和核反应堆安全分析里。这些系统老化严重、懂行的人正在退休,“AI 接手祖传代码”是个真需求,不是演示视频素材。当然,OpenAI 自己也补了一句必要的话:迁移生产系统仍需专家审查和业务规则测试——97.9% 的准确率离“直接上线”还有距离,但离“不能看”已经很远。
