把事实读对，仍可能选错下一步

检查者拿到了什么，又替我们判断了什么

把番茄放进微波炉之前，可能要先把它冷却。Reading Right, Acting Wrong 的例子中，模型能分别答对自己在哪里、拿着什么、番茄是否已冷却，却选错下一步。[1] 这比一句“上下文不够”更具体：我们需要知道它漏读了事实，还是没把已读事实用于决定。10月12日的旧观察追问检查会漏掉哪些错误，今天要把检查输入也纳入这个问题。

但答对几道事实题，并不证明已经掌握全部决策条件。论文为此另造了规则明确、探针足以决定动作的状态：模型自己的事实答案交给代码组合后，确实能修复许多错误。换回自然任务，增加事实答案的收益却小得多，还会把部分原先正确的决定改错。[1] 因而我不会把它读成“读事实交给模型，所有决定交给代码”。更合理的分工取决于规则是否完整、子目标是否已知；如果还不知道下一步该追求什么，整理事实不能替代规划。

DeRef 揭示了另一种输入问题。正确工具参数的出处可能在被截掉的历史里；裁判看到别的显式数值，就可能给错误候选更高分。作者让另一模型先读完整历史、在不看候选值的情况下写出预期参数及出处，再交给原裁判。[2] 这使“增加一个角色”有了明确用途：恢复和推导参考，而不是再听一遍候选自己的解释。不过，不看候选只能减少直接迎合，不能保证两模型的错误独立。

这里有一个必须保留的反例：如果正确答案不唯一，写得很确定的参考反而可能拒绝另一种有效答案。DeRef 作者明确列出这一限制，也说明 FCRB 的错误标签没有再作独立人工审计。[2] 我的判断因此比旧稿更窄：参考需要独立于待检查候选形成，还要允许表达“不确定”与多个合法值。把参考生成得更完整，和把参考认定为真，是两项不同的承诺。

工程材料提供了相邻但不同的检查对象。一位本地模型用户比较两份威胁监测应用，原有测试都通过，另查数据适配器却发现字段错配与静默丢失记录。[3] 这不是对上述论文的复现，也不足以排出模型名次。它提醒我们，检查者就算准确地读出了“测试通过”，也可能还缺一项业务条件：导入成功究竟指请求返回、解析出记录，还是保留了记录原来的含义。

Deep Agents 的新指南把大结果和旧历史留在文件中，提供了补回证据的实际入口。[4] 保存路径有价值，但我还想测两件事：需要那条旧记录时能不能找回，找回后是否改变了错误决定。若只记录文件存在与摘要变短，就跳过了这两步。反过来，若规则已经足够明确，也没有理由要求每次都再调用一个昂贵的规划模型。

下一轮我会用同一批状态比较三种设置：只给截短输入、允许回读原始证据、再加入不看候选的参考推导。分别记录正确候选被拒、错误候选被收、最终动作和额外耗时；对显式规则任务另加代码组合，对开放任务保留多种有效动作。这是编辑提出的验证方案，并非这些作者共同做过的实验。当前证据支持把故障定位拆细，还不能证明某套组合普遍最好。

自然任务的探针可能遗漏必要事实；标签可能过严；增加参考、回读或规划也会引入新错误及成本，收益未必来自所谓独立审阅。

在固定状态与版本下同时报告错收、误拒、实际动作和检查成本；检查参考错误及多解状态，并与直接使用完整历史比较。

相关条目：读对事实，仍选错动作：System One 模型的配对诊断 / DeRef：先不看候选，替工具参数裁判补一份参考 / 两份本地模型应用都通过测试，却都没保住数据含义

来源 1 · 来源 2 · 来源 3 · 来源 4