2026-W42 周报

最终交付目标和测试保持不变时,把完整需求拆成逐步交接,是否会改变基准到职业任务的映射与模型完成率,而且两种变化方向并不一致?

至少20%的成对任务会在职业标签数量或覆盖判定上变化,但这些表述变化不能稳定预测实际成功变化;在映射中明确必需资料、交接动作及验收对象,可使标签不一致比例至少下降三分之一。均为待测目标。

不再制作一份职业排行榜,也不主张首先测试多步任务。拟检验覆盖映射对任务表述与交接协议的可控敏感性:同一终态的三个版本只算一个任务家族,并把映射漂移与真实能力变化交叉分析。它比“加权重排榜”更窄,新颖性仍有重叠风险。

职业覆盖图会参与模型采购和选题。即使某项职业标签不变,约束何时出现、需要人补多少材料仍会改变工作量;先做敏感性试验可定位该补任务还是补接口。

3–5周。取40项代码任务与40项可本地复建的办公流程,每项做完整单次需求、分步交接、分步交接加一次约束澄清三个版本;由两位标注者确认最终目标与测试一致,不编造真实企业案例。使用两种映射模型、两种执行模型;数据按原任务家族分开。比较逐题映射与带必需条件的映射,再把版本级映射差和完成率差分开报告。先试验10家族,若终态无法保持等价则停止扩大。

Mercor式逐题O*NET映射;Wang等的领域/活动分层映射;SWE-TaskFlow的分步需求协议。保持相同目录版本、映射模型和任务集合,不与另一套题目换榜比较。

主要指标为同家族标签集合的交并比(Jaccard)差异、覆盖门槛跨越率、人审一致性;能力侧另报最终测试成功、用户补充信息量、往返和总成本。不能用提高标签稳定性代替保持真实差异,新增必要交接也须被识别。

若原映射在等价版本间已稳定,或改进方案只是把真实不同的交接需求抹掉,假设失败;若控制标注者分歧后变化消失,不把它解释成模型能力缺口。发现近邻已有相同干预实验时,只保留复现价值。

Mercor Benchmark Map(2026)及方法:已有职业覆盖、标签与权重比较;本候选不重算全经济比例,只对同一交付目标的协议版本做配对敏感性试验。

Wang等(2026):Agent开发与真实工作:已有分层职业/活动映射及工作流复杂度;拟固定原任务终态,干预信息到达和澄清条件,分开映射变化与执行变化。

SWE-TaskFlow(2026):已保持测试并拆分需求、插入问答;在其协议上增加职业映射不变性和多对一计数检查,不声称分步任务是新设计。

WorkArena++(2024):已有复合办公任务和复杂度层级;只借其可执行工作流,不把更多步骤当更多独立职业任务。

Claude Code团队:把审查噪声产生的修改算进成本

Mercor职业图谱:先找出评测尚未测到的工作