Epoch 没有只让模型解题,而是把员工日常工作交出去:画符合机构风格的图、写数据洞察、做数据浏览器、调查数据中心,以及提出研究并完成试验。报告包含五类11项任务,给六个模型相关资源和各自常用的 Agent 框架,再由人工按员工交付标准评分。本期10月26日通讯重新介绍这项工作;完整报告早在10月8日发布。
领先的 Fable 5.1 与 GPT-6 Astra 平均约65分,100分表示达到该任务的员工标准。这不是“65%的工作可自动化”,也不是节省65%的时间。模型在明确的编码、计算和部分电脑操作上已表现可靠;团队甚至移除了一个图表改成机构风格的任务,因为结果已经可用,并在实际工作中大体自动化了这一步。
更难的是判断产物是否说明了它声称的事情。一个研究试验中,模型用查询预算比较学习策略,但4,096的预算截断了280次运行中的61次。修正预算后有改善,仍把现象解释成策略本身的敏感性,没有充分排除设置造成的混杂。其他失误包括数据过滤不正确,却据此写出整篇洞察;也有计算无误、但不知道读者为何应关注结果的输出。
每个模型对每项任务只运行一次,输出由单个人工评分者评阅,且模型使用不同框架。分数适合帮助定位这些工作中的缺口,不能作为所有职业的自动化程度,也不能把细小差距只归因于基础模型。