持续追踪

Mercor职业图谱:先找出评测尚未测到的工作

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-17 · 当时的记录

模型在编程题上的高分,常被用于判断能否承担一个岗位。评测与人才数据公司Mercor制作的职业任务图谱,先检查题目本身覆盖了什么。它以美国O*NET职业任务目录为框架,挑选29个偏重真实、可执行且尚未饱和任务的基准,让模型把每道题映射到职业任务;一个任务至少匹配五道题才算覆盖。Mercor自有办公任务评测APEX的子集,另由专家检查主要映射。

当前索引中,18,797项任务有924项达到门槛,923个职业有208个至少包含一项这样的任务。作者再结合每项任务的工时份额估计,得到约90%的工作时间对应任务少有或没有覆盖。这个数字是所选索引的覆盖估计,不是模型失败率,也不是尚未被自动化的岗位比例。原页面未给精确发布日期,本周从10月16日的公开讨论发现,不能把讨论时间当产品首发时间。

作者承认基准列表不完整、每职业家族设限、排除饱和题可能低估覆盖,标签和工时也包含模型估计。在投资银行、法律、会计和软件工程的APEX题目上,改为职业任务等权后分数总体相近,但这些职业不足三分之一的任务有足够APEX题目进入比较。图谱更适合定位待补测量,尚不能单凭“覆盖了”评价完成质量。

本次记录的观点:Mercor研究团队 · qurren

回到当期正文 ↗

查看依据阅读原文 / 信息来源:Mercor研究团队 · Benchmark Map · 信息来源:Mercor · 方法与专家审核范围 · 信息来源:Mercor · 实际29项基准索引 · 发现渠道:Hacker News · 原讨论 · qurren:个体工作分配