持续追踪

SlopCodeBench:新功能通过,旧行为却未必保住

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-21 · 当时的记录

真实软件需求会不断追加。SlopCodeBench 让模型接手自己上一阶段留下的代码,再逐步透露新要求,从而观察代码能否继续修改,而不是只做一次性题目。10月15日这轮报告采用固定 v1.0 题库、默认 just-solve 提示、seed 42、Python 3.12 Docker 环境;每个模型设置运行36个问题、共196个阶段检查点,每种设置只完成一轮。

读图要分开两种通过。Strict 要求该阶段各类测试全过,包括回归测试;Core 只表明当前核心功能过关,可能仍损坏旧行为。图中实色段是 Strict,淡色延伸是额外的 Core-only。Astra XHigh 的严格通过为32/196,而核心成功为136/196;差距说明“新增功能看似能用”与“整个既有要求仍成立”之间存在很大距离。196个检查点又来自36条连续问题轨迹,不能视为196个独立项目。

费用与思考强度也没有整齐的单调关系。三个可配对模型中,提高到 XHigh 后只见 Astra 的严格通过数由29升到32;SOL 6 从30降到26,Opus 5.5 从28降到25。作者报告费用增加约2.11至4.22倍。单轮结果不足以证明高强度普遍有害,却足以提醒人们,额外预算是否值得需要按任务验证。

代码风格指标是另一层证据。报告把大函数、冗长和侵蚀等启发式信号用于分析可测量的28个问题,未覆盖全部36题;被标记的代码行也不等于每一行都错。原文有一处把32与29之差写成“两项”,本期按表格核对为三项,不沿用该句。

本次记录的观点:dhorthy · theodorewiles

回到当期正文 ↗

查看依据原文 · 原始依据 · 原始依据