原始来源:Surge AI · DAYJOB 团队
发现渠道:Hacker News · AI
专业工作通常不会把所有关键条件写进提问。客户给来邮件、表格和历史文件,工作者还要发现哪里互相矛盾、哪种选择会触发额外条件,再交付能使用的结果。DAYJOB Tax 用 50 个税务工作环境模拟这种情况,合计 1789 份文件,单项任务中位数为 30 份,最大达到 123 份;材料由专家构造并分层审阅,不是真实客户资料的直接公开。
评分关注完整任务是否达标。以满足至少 95% 的评分项为通过线,发布页报告 Sonnet 5.5 单次通过率 10.8%、Fable 5.1 为 9.6%、Opus 5.5 为 9.2%。这些数值不能说成“模型只懂一成税法”,也不能在没有误差分析时据此宣布几种模型优劣已经分明:少量关键遗漏就可能让整项任务不过线。
原文举例,模型比较客户给出的两个出售时间,算出了两者的结果,却漏掉另一个决定资格的未来期限;另一个例子中,不同模型又对婚姻状态作出不同程度的未经确认假设。难点是从材料中找出尚未被问到、却会改变建议的问题。评论区既有用户说模型帮忙发现人工申报错误,也有人追问测试使用了什么工具和工作流。这些经验支持辅助复核的价值,但不是该基准的复现,更不构成个人税务建议。
可信度 65 · 重要性 90 · 新颖度 85
技术与主题
Agent 系统 · 评测与基准 · agent evaluation · professional tasks
waiwai933
在 DAYJOB 讨论中谈自己作为海外美国公民核对申报草稿的经验;不是参加基准的用户。
忠实转述(非原句):他把自己准备的草稿和支持材料交给 Claude,既发现过汇率错误,也遇到模型因缺少背景提出误报、对模糊规则给出另一种解释,以及迟迟算不准估算税额。他认为它适合辅助检查,不适合丢入所有文件后期待无需核对的成品;此处是个人经验,不提供税务结论。
licyeus
针对该基准的工具与系统指令披露提出疑问。
忠实转述(非原句):他没有很快找到完整工具和指令设置,并提出专用工作流可能先整理要求再逐项核对。他问,这究竟是在测专业系统,还是模型自行组织工作并在上下文里跟踪要求的能力;这一建议尚不是已完成的改进实验。
编辑评读
这个基准使“能算”与“知道该算什么”之间的距离更具体。即使公式调用完全正确,若遗漏资格、时间或身份前提,最终建议仍然可能不合用。对类似的合同、运营或文档工作,值得迁移的不是税务规则本身,而是先从原始材料提取会改变方案的条件,再检查条件之间是否冲突。
低通过率也需要结合任务设计读。严格整项阈值适合提醒人注意交付缺口,却隐藏了错误的大小与修复难度。遗漏一项关键信息和多数计算都错,可能同样算失败;实际辅助流程的价值还要看人需要花多少时间核对与补救。用户自述模型发现错误,和无人介入整项通过率低,可以同时成立。
关于专用工作流的质疑值得留下。若先列条件、检索当前规则、使用确定性计算器再复核,表现可能改变;但这只是待测假设,不能据此抹掉已有结果,也不能说作者已经测过最佳专业系统。下一轮有价值的比较应公开工具、系统指令与人工介入范围,在同一任务上比较最终质量和修复成本。
需要留意
- 严格整项通过率不等于单条知识准确率;用户辅助复核经历不是基准复现。