Yubo Li、Ramayya Krishnan、Rema Padman · arXiv · 阅读原文
原始来源：Yubo Li、Ramayya Krishnan、Rema Padman · arXiv
发现渠道：Hugging Face Daily Papers
研究把同一 Agent 状态交给模型，分别询问事实与下一步动作，覆盖17个快速系统及一个推理参照。较强系统的决策错误中，73%–85%发生在全部已测事实答对时；这不是所有动作的错误率。作者另造规则充分的状态，发现把模型自己的事实答案交给代码组合可修复很多错误。自然状态中的改善较小，探针也未必覆盖全部决策条件。
可信度 65 · 重要性 82 · 新颖度 77
技术与主题
Agent 系统 · 评测与基准 · 推理能力 · System One Models · Action Selection · Behavioral Probing
编辑评读
这套测量最有用的地方，是让失败定位有了下一步。若模型连最后一次工具是否成功都读错，应先检查状态格式与历史；若它读对了被测事实却仍选择错误动作，就需要查规则组合、子目标或尚未被探针问到的条件。把两类错误都叫作“幻觉”，很难指导下一次修改。
尤其要看论文自己的反例：在自然状态上，附加模型自己的事实答案会修复一些错误，也会破坏一部分原本正确的选择。规则明确的人工状态因此适合验证一种故障机制，不能替代闭环工作流验收。工程上可先保存失败前的状态，写几道可由数据确定答案的窄问题，再比较事实整理与规划各自修复了什么。
若要据此选型，我更关心目标业务的错误分布，而非全库平均名次。支付、订票等任务还应允许多个合法动作与明确的拒绝条件；把唯一标准动作定得过窄，会把安全但不同的路径算成失败。论文披露了标签和覆盖限制，本期没有运行它的评测。
需要留意
- 冻结状态上的单步测试，未测完整闭环；自然任务的探针并非充分信息。