从技能回放到代码审查，把改坏的部分也算进去

一次检查通过，要能说清它排除了什么

本周最值得保留的进展，是“再检查一次”开始变成几种可以分别观察的操作。写给编程 Agent 的技能，是能被反复调用的任务说明；规则则可能在读取特定文件时自动载入。即使两者文字完全正确，也要先知道模型有没有真正接触它们。Cortex 把这个环节记录下来，使一次分数上涨不再自动归功于刚加入的说明。这支持了此前的判断：检查角色和文件数量，都不是新增证据的计量单位。

但有记录仍可能问错问题。Cortex 的有害候选试验主要在原本失败的任务上初筛；一条规则若把原先成功的任务改坏，失败集未必给它显形的机会。这里需要修正的是读法：没有收下有害候选，可能来自没有读到、没有增益或暂未作决定，不能全部算成识别伤害。与此同时，论文正式门槛确实保护一部分旧成功，不能反过来说它完全没有防回归设计。负控试验的诊断能力与系统设计意图，应分别评价。

Claude Code 团队的实践补上一种可行的测量：让审查器看已知干净的改动，检查它会不会提出诱发有害修改的意见。这比只在事故集合上查召回更接近实际使用，因为建议会被下一位 Agent 执行。正面意义是把主动制造错误的机会计入评估；仍未回答的是，干净标签怎样确认，以及内部改进能否迁移到其他仓库。相邻案例提供了办法，没有替 Cortex 完成验证。

科研实验还多一层选择问题。10月11日读到的 InnovationEval 以近期人类后训练方法为参照，让模型提出并实现改进；研究者检查后发现，只报告许多相近运行中的最好一次，会把方法收益抬高。它是少数高成本尝试的初步评估，不足以判定所有科研 Agent 的能力，却说明保留最后代码和最高分仍不够。需要留下每次尝试、选择依据，以及选中以后没有参与挑选的新测量。

周末的曲线种子溯源给了另一种有价值的边界。重建一个旧伪随机数生成器，能严格核对现存数字之间的关系；它没有自动恢复当年所有弃选候选。这里缺的是历史识别信息，和科研实验中的统计偏差并非同一种错误。两者共同要求公开选择过程，但一个需要新的史料，一个可以从现在开始设计独立确认。不能靠重复算出同一数字，补齐本来没有保存的历史。

补查近邻后，也应收回“加一个门就可能是新方法”的想法。SkillEvoReg 已有候选定向反例，VALVE 已研究长期验证门与复用面板的界，ACES 已进行有无技能的成对试验。更值得做的是核查这些保证所依赖的条件：任务是不是相互独立，同一仓库的近似任务是否被当作许多新样本，失败和未载入情况是否被排除。这是待验证的问题，不能预先宣称既有方法失效。

因此，后续验收至少要留下三种不同的对象：判据真正读到什么、在原本正确的情形上损失什么、这项结论经过多少次有反馈的选择。前两种可用配对回放核对，第三种要保存完整过程并另留确认材料。若固定任务上的简单检查已经足以覆盖承诺，就不应为了形式齐全增加审查轮数；若保证依赖不可检查的历史，则如实保留不知道的部分。下一次回访将优先寻找独立新任务和明确负控，而不以旧观察被重复引用增加置信度。

作用机制：生成者能利用检查反馈继续搜索；只有测到实际曝光、旧成功的损失及选择后的独立确认，才能分别识别未使用、回归和筛选偏差。

反证/替代解释：固定硬规则也可能误拒合法实现；规则家族的收益不等于开放任务能力。种子溯源的历史缺失和随机试验的选择偏差机制不同。VALVE等已有工作已处理部分自适应风险，必须核对其假设再谈缺口。

• Cortex：方法3.4–3.5、负控5.3与局限
• Claude团队：干净改动与审查收敛
• David Owen · Epoch：InnovationEval，10月7日旧材料回访
• Anthropic：ECDSA生成与未解释的选择
• SkillEvoReg：反例验证与检查点选择
• VALVE：长期验证门及复用面板保证
• ACES：有无技能的运行时成对试验

少一轮审查，还要看工作在哪里结束

10月13日的旧判断把生成、审查和交付分开，是因为企业流程研究与一家团队的审查自报给出了不同方向。前者记录代码和PR增加、合并等待变长，却未见事项完成显著增加；后者说能运行复现的机器人缩短了合并等待。PR是一次拟合入代码库的改动，等待包含排队、检查和返工，不能直接翻译成工程师劳动时长。周报重新检查这个问题，仍不把两份不同设计的研究当作互相推翻。

周末补上的Claude团队案例，让“返工”有了更具体的产生方式。自动作者会落实审查建议，自动审查又在下一轮发现旧问题；没有新的真实需求，系统也能连续创造修改。停止规则因此是工作流程的一部分：先审完整改动，后续聚焦新差异，并避免重复提出同一发现。但轮数下降不是终点，若真实缺陷漏检、事故或事后修复增加，省下的只是前面的时间。

这使此前“审查会成为瓶颈”的表述需要保留两个方向。一方面，生成加速可能加重队列；另一方面，提供可检查证据、按风险分配人力与减少噪声，确实可能扩大审查容量。团队前后统计不能分离模型升级、改动组合和流程变化，却足以反对“AI审查只能增加负担”的绝对判断。下一步最缺的仍是同一批任务上，实际人力、缺陷发现和交付质量的共同记录。

本期独立发现的Mercor图谱把问题再往前移了一步：用什么任务来代表工作？它将所选评测题映射到美国职业任务分类，发现许多任务在这份索引中缺少题目。这个结果不能推出模型做不了这些工作，更不能直接变成岗位替代率。它的价值是让我们先问，采购或招聘判断引用的分数，究竟有没有测到协调、复核、异常接手这些环节。没有测到，与测过但失败，需要完全不同的补救。

这里也不能只保留一个醒目的覆盖缺口。作者对四个职业做任务等权重比较时，已有APEX办公任务评测题目的模型分数变化不大；这是真实的正面边界，说明换权重未必改变排名。但被纳入比较的任务仍只是部分职业活动。对已经测到的部分，平均可能相当稳定；对没有题目的部分，平均值再精确也不会自动产生信息。这两件事可以同时成立。

SWE-TaskFlow给出一个更窄、也更容易做对照的入口：保留最终代码目标和测试，只改变需求逐步到达的方式，再加入仓库问答。它提示我们，题目标签相同，实际交接条件也可能不同。一次写清需求的成本，可能由用户在评测外提前承担；分步给需求又可能增加往返和模型费用。Mercor的职业映射与TaskFlow不是共同实验，我据此提出的只是比较办法：覆盖应同时标明目标、可用资料和交接协议。

公开评论保留了另一种分歧。status_quo69担心，按需让模型搜索代码局部，不等于人形成了整体理解；csallen则相信测试、历史版本和模型解释能帮助恢复。两者是对同一流程的不同判断，没有提供可比恢复实验。若审查还承担团队知识传递，就需要另外测：作者离开以后，接手者能否定位新事故、修改假设并完成恢复。事故率暂时不升，不能单独保证这项能力已经保留。

我目前更愿意用一份交付记录来替代笼统的提效倍数：预先固定质量和时限，分别留下等待、实际判断、机器重试、误报引起的修改，以及交付后的恢复成本；失败也留在分母里。职业图谱可以帮助发现待补任务，却不能替代这些记录。若在相同质量下人力和返工一起下降，就应承认自动审查的收益；若只是任务被缩小或坏结果被推迟，就应修正收益判断。这个结论是本周的测量立场，具体改善幅度仍待独立对照。

作用机制：审查评论会触发新修改，从而改变到达率和返工；任务取样与需求交接又决定哪些劳动进入测量。排队变化、知识传递和模型能力不能混作同一机制。

反证/替代解释：低风险改动可能适合少量自动检查，高风险工作多审几轮可能划算；内部前后变化没有识别单项因果。Mercor索引不完整且标签和工时含模型估计，不能外推整个经济或中国招聘市场。

• Fiona Chen、James Stratton：企业流程工作论文
• Vapi：审查机器人、已知漏检与前后等待
• Claude Code团队：流程、收敛和回滚
• Mercor：覆盖图与四职业权重比较
• Mercor：专家只检查APEX子集primary映射
• JetBrains Research：SWE-TaskFlow
• status_quo69：共享理解异议
• csallen：恢复与解释的经验反例