Linhai Ma 等 · arXiv · 阅读原文

原始来源:Linhai Ma 等 · arXiv

发现渠道:Hugging Face Daily Papers

论文发现,工具调用裁判对显式出现在输入里的值更宽容,对需推导、来自默认值或被截掉历史的正确参数更容易拒绝。DeRef 让独立的参考生成步骤读取完整历史与函数定义,不看候选值,先写预期参数及出处,再交给原裁判。三个基准上的主实验改善了区分能力;作者同时保留多解标签、参考错误和额外生成步骤的限制。

可信度 65 · 重要性 79 · 新颖度 76

技术与主题

Agent 系统 · 评测与基准 · Tool Calling · LLM-as-Judge · Reference Generation

编辑评读

一个参数在对话中出现过,与它适合当前工具调用,并不是同一件事。检查车辆ID时,早先搜索里出现的另一个ID可能看起来证据齐全,却对应错误租赁对象。参考生成先不接触候选,是为了让检查起点不被待检查答案牵着走。

这项改动值得试,也应和“直接把完整历史交给裁判”比较。若主要收益只是把被截掉的内容补回来,团队未必需要永久增加角色;如果关键在于把默认值与规则推导清楚,单纯加长输入又可能不够。两种解释对应不同的工程改动,不能只看最后AUROC上升就合在一起。

我会给参考保留出处、版本和“不唯一”的表达,再用错误参考去测试裁判会不会照单全收。尤其不要把匹配一个gold值当作业务正确性的全部定义:不同日期表示法、等价筛选条件或多个可订方案,都可能合法。该论文提供的是参数判别方法,不能顺带证明每次真实执行都安全。

需要留意

  • FCRB错误标签未另作独立人工审计;单一gold可能误拒其他有效值。

核查依据

所属事件

收录记录