专业工作通常不会把所有关键条件写进提问。客户给来邮件、表格和历史文件,工作者还要发现哪里互相矛盾、哪种选择会触发额外条件,再交付能使用的结果。DAYJOB Tax 用 50 个税务工作环境模拟这种情况,合计 1789 份文件,单项任务中位数为 30 份,最大达到 123 份;材料由专家构造并分层审阅,不是真实客户资料的直接公开。
评分关注完整任务是否达标。以满足至少 95% 的评分项为通过线,发布页报告 Sonnet 5.5 单次通过率 10.8%、Fable 5.1 为 9.6%、Opus 5.5 为 9.2%。这些数值不能说成“模型只懂一成税法”,也不能在没有误差分析时据此宣布几种模型优劣已经分明:少量关键遗漏就可能让整项任务不过线。
原文举例,模型比较客户给出的两个出售时间,算出了两者的结果,却漏掉另一个决定资格的未来期限;另一个例子中,不同模型又对婚姻状态作出不同程度的未经确认假设。难点是从材料中找出尚未被问到、却会改变建议的问题。评论区既有用户说模型帮忙发现人工申报错误,也有人追问测试使用了什么工具和工作流。这些经验支持辅助复核的价值,但不是该基准的复现,更不构成个人税务建议。