2026-W42 周报

本周最值得保留的进展,是“再检查一次”开始变成几种可以分别观察的操作。写给编程 Agent 的技能,是能被反复调用的任务说明;规则则可能在读取特定文件时自动载入。即使两者文字完全正确,也要先知道模型有没有真正接触它们。Cortex 把这个环节记录下来,使一次分数上涨不再自动归功于刚加入的说明。这支持了此前的判断:检查角色和文件数量,都不是新增证据的计量单位。

但有记录仍可能问错问题。Cortex 的有害候选试验主要在原本失败的任务上初筛;一条规则若把原先成功的任务改坏,失败集未必给它显形的机会。这里需要修正的是读法:没有收下有害候选,可能来自没有读到、没有增益或暂未作决定,不能全部算成识别伤害。与此同时,论文正式门槛确实保护一部分旧成功,不能反过来说它完全没有防回归设计。负控试验的诊断能力与系统设计意图,应分别评价。

Claude Code 团队的实践补上一种可行的测量:让审查器看已知干净的改动,检查它会不会提出诱发有害修改的意见。这比只在事故集合上查召回更接近实际使用,因为建议会被下一位 Agent 执行。正面意义是把主动制造错误的机会计入评估;仍未回答的是,干净标签怎样确认,以及内部改进能否迁移到其他仓库。相邻案例提供了办法,没有替 Cortex 完成验证。

科研实验还多一层选择问题。10月11日读到的 InnovationEval 以近期人类后训练方法为参照,让模型提出并实现改进;研究者检查后发现,只报告许多相近运行中的最好一次,会把方法收益抬高。它是少数高成本尝试的初步评估,不足以判定所有科研 Agent 的能力,却说明保留最后代码和最高分仍不够。需要留下每次尝试、选择依据,以及选中以后没有参与挑选的新测量。

周末的曲线种子溯源给了另一种有价值的边界。重建一个旧伪随机数生成器,能严格核对现存数字之间的关系;它没有自动恢复当年所有弃选候选。这里缺的是历史识别信息,和科研实验中的统计偏差并非同一种错误。两者共同要求公开选择过程,但一个需要新的史料,一个可以从现在开始设计独立确认。不能靠重复算出同一数字,补齐本来没有保存的历史。

补查近邻后,也应收回“加一个门就可能是新方法”的想法。SkillEvoReg 已有候选定向反例,VALVE 已研究长期验证门与复用面板的界,ACES 已进行有无技能的成对试验。更值得做的是核查这些保证所依赖的条件:任务是不是相互独立,同一仓库的近似任务是否被当作许多新样本,失败和未载入情况是否被排除。这是待验证的问题,不能预先宣称既有方法失效。

因此,后续验收至少要留下三种不同的对象:判据真正读到什么、在原本正确的情形上损失什么、这项结论经过多少次有反馈的选择。前两种可用配对回放核对,第三种要保存完整过程并另留确认材料。若固定任务上的简单检查已经足以覆盖承诺,就不应为了形式齐全增加审查轮数;若保证依赖不可检查的历史,则如实保留不知道的部分。下一次回访将优先寻找独立新任务和明确负控,而不以旧观察被重复引用增加置信度。

从是否接触规则、能否发现退步,到是否看见筛选历史,检查通过需要对应具体承诺。三种缺口不能用同一个成功率代替。

生成者能利用检查反馈继续搜索;只有测到实际曝光、旧成功的损失及选择后的独立确认,才能分别识别未使用、回归和筛选偏差。

固定硬规则也可能误拒合法实现;规则家族的收益不等于开放任务能力。种子溯源的历史缺失和随机试验的选择偏差机制不同。VALVE等已有工作已处理部分自适应风险,必须核对其假设再谈缺口。

Cortex:方法3.4–3.5、负控5.3与局限

Claude团队:干净改动与审查收敛

David Owen · Epoch:InnovationEval,10月7日旧材料回访

Anthropic:ECDSA生成与未解释的选择

SkillEvoReg:反例验证与检查点选择

VALVE:长期验证门及复用面板保证

ACES:有无技能的运行时成对试验

Cortex:先确认规则被读到,再判断是否值得留下

Claude Code团队:把审查噪声产生的修改算进成本

ECDSA曲线种子有了可重算的来历,选择历史仍有空白