把番茄放进微波炉之前,可能要先把它冷却。Reading Right, Acting Wrong 的例子中,模型能分别答对自己在哪里、拿着什么、番茄是否已冷却,却选错下一步。[1] 这比一句“上下文不够”更具体:我们需要知道它漏读了事实,还是没把已读事实用于决定。10月12日的旧观察追问检查会漏掉哪些错误,今天要把检查输入也纳入这个问题。
但答对几道事实题,并不证明已经掌握全部决策条件。论文为此另造了规则明确、探针足以决定动作的状态:模型自己的事实答案交给代码组合后,确实能修复许多错误。换回自然任务,增加事实答案的收益却小得多,还会把部分原先正确的决定改错。[1] 因而我不会把它读成“读事实交给模型,所有决定交给代码”。更合理的分工取决于规则是否完整、子目标是否已知;如果还不知道下一步该追求什么,整理事实不能替代规划。
DeRef 揭示了另一种输入问题。正确工具参数的出处可能在被截掉的历史里;裁判看到别的显式数值,就可能给错误候选更高分。作者让另一模型先读完整历史、在不看候选值的情况下写出预期参数及出处,再交给原裁判。[2] 这使“增加一个角色”有了明确用途:恢复和推导参考,而不是再听一遍候选自己的解释。不过,不看候选只能减少直接迎合,不能保证两模型的错误独立。
这里有一个必须保留的反例:如果正确答案不唯一,写得很确定的参考反而可能拒绝另一种有效答案。DeRef 作者明确列出这一限制,也说明 FCRB 的错误标签没有再作独立人工审计。[2] 我的判断因此比旧稿更窄:参考需要独立于待检查候选形成,还要允许表达“不确定”与多个合法值。把参考生成得更完整,和把参考认定为真,是两项不同的承诺。
工程材料提供了相邻但不同的检查对象。一位本地模型用户比较两份威胁监测应用,原有测试都通过,另查数据适配器却发现字段错配与静默丢失记录。[3] 这不是对上述论文的复现,也不足以排出模型名次。它提醒我们,检查者就算准确地读出了“测试通过”,也可能还缺一项业务条件:导入成功究竟指请求返回、解析出记录,还是保留了记录原来的含义。
Deep Agents 的新指南把大结果和旧历史留在文件中,提供了补回证据的实际入口。[4] 保存路径有价值,但我还想测两件事:需要那条旧记录时能不能找回,找回后是否改变了错误决定。若只记录文件存在与摘要变短,就跳过了这两步。反过来,若规则已经足够明确,也没有理由要求每次都再调用一个昂贵的规划模型。
下一轮我会用同一批状态比较三种设置:只给截短输入、允许回读原始证据、再加入不看候选的参考推导。分别记录正确候选被拒、错误候选被收、最终动作和额外耗时;对显式规则任务另加代码组合,对开放任务保留多种有效动作。这是编辑提出的验证方案,并非这些作者共同做过的实验。当前证据支持把故障定位拆细,还不能证明某套组合普遍最好。
另一种解释
自然任务的探针可能遗漏必要事实;标签可能过严;增加参考、回读或规划也会引入新错误及成本,收益未必来自所谓独立审阅。
接下来观察什么
在固定状态与版本下同时报告错收、误拒、实际动作和检查成本;检查参考错误及多解状态,并与直接使用完整历史比较。