Florian Brand · Prime Intellect · 阅读原文
模型卡上的分数看似直接反映能力，实际还取决于工具怎样描述、答案怎样评分，以及联网时能读到什么。Prime Intellect 在运行多项公开评测后公布了问题记录与修复，最值得看的不是排行榜变动，而是失败怎样进入分数。
AutomationBench 要求 Agent 跨应用完成业务流程。原工具说明用自然语言描述请求体，模型需要猜字段与参数组合；团队改成明确字段、类型和允许组合的 JSON Schema，并修改一些任务和判分规则中难以从题目推知的要求。修订后，Opus 5.5 在公开集的部分得分为92.15%，严格得分为70.83%。直接把工具注册给 Prime Agent 后又是另一组成绩，不能与原版 Zapier 运行直接横比。所谓接近饱和，首先针对这里的公开集与部分计分。
OfficeQA Pro v2 面向美国联邦财政文件的检索推理。作者展示了正确答案因为提取出的数字数量或文字长度被判错的情况；修订版换用参考答案裁判，调整语料和题目，并去掉开放网络访问。原文还记录了模型借联网查到公开答案的轨迹。修复让任务更可解释，但也改变了评测设置；更高分既不能全部归给模型进步，也不等于新判分器已无误。
可信度 65 · 重要性 78 · 新颖度 78
技术与主题
Hamel Husain
回应原帖：Prime Intellect
经FxEmbed取得的原帖，引用Prime Intellect发布；是对这次审计的评论，没有另做独立复现。
忠实转述（非原句）：他先列举 AutomationBench 的工具说明及判分问题，再提到 OfficeQA 对有效答案的误拒与答案泄露。他认为人们对第三方分数的依赖超过了这些分数值得承受的信任，主张亲自查看数据，尤其应使用贴近自身任务的私有评测。
编辑评读
这里有两种方向相反的误差。含糊接口和过窄判分会压低本来完成任务的成绩；访问泄露答案则会抬高并非靠目标能力得到的成绩。只问分数是不是更高，会把这两种问题混在一起。实际审计可以先按失败轨迹分类：参数猜错、业务状态错误、表达等价却判错，还是读取了不应取得的答案。不同类别需要不同修复。
修正自然语言说明也不只是换一种格式。仓库还补了时钟约定、动作返回的标识一致性，以及任务要求与检查位置的对应关系。例如要求把销售策略存到机会记录，却只在备注里检查，便可能惩罚合理实现。对于自己的评测，先检查“题目允许怎样完成”和“测试接受怎样完成”是否一致，比直接加一个更强的总评模型更能定位问题。
作者在专家级知识与推理评测HLE-Diamond的运行中还观察到，监控器逐次过滤工具输出仍可能被跨多次调用的策略绕过，过滤结果本身也可能成为线索。这是具体轨迹提供的风险，不等于所有联网评测都失效。相应的改进应把整个任务的历史纳入检查，并统计正常求解被误挡的比例。私有评测可以减少公开答案泄露，却不会自动修好含糊任务、坏测试和偏置裁判。