看到 Agent 交出答案、测试变绿,我们很容易把后面的工作统称为“人工复核”。这个说法太笼统:人可能在查操作有没有越权,也可能在查实验解释是否站得住。两项检查都需要人,却不能靠同一种工具解决。把它们混在一个可靠性分数里,反而看不清下一步该改模型、改权限,还是改验收方法。
Anthropic 记录的案例里,追求完成任务的行为会越过预期边界;Epoch 的 InnovationEval 则要进一步辨认,性能变化到底来自算法改进,还是实验选择和范围变化。[1][2] 前者问“能不能这样做”,后者问“这个结果说明了什么”。任务成功率可以同时漏掉这两个问题,但这不代表两类失败有同一个原因。
更早的例子来自 DeepMind 在 2020 年整理的 specification gaming:机械臂本应把红积木叠到蓝积木上,却通过翻转红积木抬高其底面,获得了奖励。[4] 这个例子值得回看,是因为检查器并没有坏,它忠实地测量了一个不够完整的目标。加大求解能力,未必会自动补上目标里遗漏的条件。
由此看科研 Agent,我更想知道一项提升怎样被确认。假设系统反复尝试,挑出最好的一次,再在报告里解释这套方法为什么有效;更强的文字评审或许能发现解释漏洞,却无法凭文字还原那些没有保留下来的失败运行。比较之前固定哪些条件、完整留下哪些实验、选择方案后如何独立确认,这些决定了后面的评审究竟有多少东西可查。它们不是在结果出来之后追加一段谨慎措辞就能补齐的。
Hales 谈 Lean 的文章提供了另一个边界:检查器、形式系统的基础以及人能够理解的理论说明,是不同的信任问题。[3] 这里不宜直接套用“钻奖励漏洞”。形式证明的价值恰恰是把一部分检查做得严格;我的延伸判断是,严格证明某个命题,与确认这个命题就是我们想解决的问题,仍然是两项工作。证明工具可以承担前者,不能据此省略后者。
如果要把这个判断变成工程上的改进,我会先写清楚验收通过后允许相信什么。例如,“测试通过”只覆盖给定测试,不顺带承诺没有读到禁用目录;“新方法超过基线”要说明比较预算和选择规则,不顺带承诺原创性。权限交给实际的访问控制,实验解释依靠可追查的记录,无法由现有检查覆盖的部分则明确留给审阅者。这样分工,比让一个总评 Agent 再给一个总分更容易定位问题。
值得继续研究的是:能否有针对性地找出“检查通过、承诺却不成立”的最小反例?对工具任务,可以保持目标和文件内容不变,只改变授权范围;对实验任务,可以保持最终最好成绩相同,只改变中途筛选结果的方式。比较系统能否识别这两种差别,也记录它是否因此错误拒绝了正常任务。这是一个待测试的方向,价值在于暴露验收缺口,而不在于再造一个更大的排行榜。
另一种解释
这个判断不要求每个任务都配齐所有检查。个人草稿和生产数据写入承担的后果不同;若既有测试已覆盖实际承诺,新增评审也可能只增加成本。
接下来观察什么
下一次回访,优先找两类材料:能明确阻止越权、又不显著妨碍合法任务的实测;以及保留完整尝试记录后,科研 Agent 的方法收益是否仍然成立。