Kelly Hong、Greg Burnham · Epoch AI · 阅读原文
原始来源：Kelly Hong、Greg Burnham · Epoch AI
发现渠道：Epoch AI 通讯 · 10月26日
发现渠道：AIHOT · 精选线索（非原帖直采）
Epoch 没有只让模型解题，而是把员工日常工作交出去：画符合机构风格的图、写数据洞察、做数据浏览器、调查数据中心，以及提出研究并完成试验。报告包含五类11项任务，给六个模型相关资源和各自常用的 Agent 框架，再由人工按员工交付标准评分。本期10月26日通讯重新介绍这项工作；完整报告早在10月8日发布。
领先的 Fable 5.1 与 GPT-6 Astra 平均约65分，100分表示达到该任务的员工标准。这不是“65%的工作可自动化”，也不是节省65%的时间。模型在明确的编码、计算和部分电脑操作上已表现可靠；团队甚至移除了一个图表改成机构风格的任务，因为结果已经可用，并在实际工作中大体自动化了这一步。
更难的是判断产物是否说明了它声称的事情。一个研究试验中，模型用查询预算比较学习策略，但4,096的预算截断了280次运行中的61次。修正预算后有改善，仍把现象解释成策略本身的敏感性，没有充分排除设置造成的混杂。其他失误包括数据过滤不正确，却据此写出整篇洞察；也有计算无误、但不知道读者为何应关注结果的输出。
每个模型对每项任务只运行一次，输出由单个人工评分者评阅，且模型使用不同框架。分数适合帮助定位这些工作中的缺口，不能作为所有职业的自动化程度，也不能把细小差距只归因于基础模型。
可信度 65 · 重要性 86 · 新颖度 75
技术与主题
Agent 系统 · AI 编程 · 评测与基准 · Agent Evaluation · Research Design · Human Grading
编辑评读
最值得借用的是把“任务完成”拆到实际交付要求。模型能产出代码、图表和显著变化，仍需要知道数据筛选是否生效、比较是否公平、结论是否回答问题。内部评测若只验文件存在或脚本结束，就会错过决定工作价值的环节；相反，已经稳定可用的窄步骤，也没有必要等待全流程自治才采用。
研究判断可以从一条可检查的链开始：原问题是什么，哪项操作改变了哪个变量，观察到的差异还有什么解释。遇到预算截断，应先分离资源不足与策略效果，再决定是否改进方法。对团队来说，可先记录人工在哪一步接手、为何接手和改动耗时，再设计局部自动化。这些是从案例推导的做法，本刊没有复跑任务，也没有测得替代工时。具体到预算案例，可以先在足够预算下固定两种策略，再单独改变预算，观察差异是否仍存在；不能只修正一次设置便保留原先的因果解释。
需要留意
- 11项任务、每模型每任务一次、单评分者且不同框架；65分不等于工时或职业替代率。