# 研究想法 · 2026-W42

从技能回放到代码审查，把改坏的部分也算进去

[回看本周总结与编辑观察](<https://lcbreathe.github.io/ai-digest/reports/weekly/2026-W42.html>)

## 1. 在相关任务上校准技能验收的误收率

### 问题

保持总验证调用预算不变，当任务来自同一模板或同一缺陷家族时，反复选择技能的实际误收率是否超过按任务数估计的水平？

### 假设

在预先构造的零真实增益候选上，把同模板任务当独立样本将低估误收；按任务家族分组、限制反馈次数并留一次独立确认，可使整轮错误采用比例至少下降一半，同时保留至少80%的有益候选。两项阈值都是拟议标准。

### 科研 / 工程价值

复用验收面板和独立性已有理论；工程上仍需知道同仓库近似任务会怎样改变门槛的实际误收率。负结果能防止把许多重复样本误当充分证据。

### 与已有工作的差别

不主张首次研究验证集复用、反例或长期门。候选贡献是一个固定预算、候选数×任务相关性的交叉压力试验，校验现有门的经验适用范围；分组确认是待比较的工程策略，不宣称新统计定理。若近邻已有同一交叉对照，撤回机制新颖性，仅作复现。

### 最小验证

4–6周。取3个可本地重建的小型开源仓库，每库设计20个独立缺陷家族并为每家族构造近似变体；由维护者先验确认有效、无效和有害规则。固定模型及曝光方式，比较10与40次带反馈选择、低与高任务相关性，至少5个独立选择种子。各方法分配相同总验证调用上限；调用不足记未判定，不补成通过。选择后一次运行封存的新家族任务，按仓库/家族聚类分析。先用小试估方差，若无法达到预注册精度则停止而非报告“无差异”。

### 比较基线

冻结Cortex式净收益/最差退步门；按VALVE原假设实现的验证门；SkillEvoReg式候选反例。另保留不更新与固定每轮独立确认，不能只与全部接受比较。

### 成功指标

主要指标是预先判为无增益/有害候选的整轮误收率及按仓库/任务家族重抽样的95%区间；同时报有益候选保留率、旧成功任务损失、总调用费与未判定比例。独立确认集仅在选择结束后打开。

### 放弃或修正的条件

若原门在相关性与查询次数增加后仍保持预定误收上限，或分组确认不能在相同预算下降低误收，假设不成立；若只是牺牲超过20%的有益候选或大量拒判获得低误收，工程目标也失败。

### 查新风险

高

### 伦理与使用边界

只用有许可的本地仓库与隔离任务；不接生产权限，完整保存失败，实验日志不含凭据。

### 从哪里想到它

[Cortex：先确认规则被读到，再判断是否值得留下](https://lcbreathe.github.io/ai-digest/reports/weekly/2026-W42.html#weekly-events-0)

[ECDSA曲线种子有了可重算的来历，选择历史仍有空白](https://lcbreathe.github.io/ai-digest/reports/weekly/2026-W42.html#weekly-events-2)

### 最近邻工作

[Cortex（2026）：曝光、净收益与旧成功保护](<https://arxiv.org/html/2610.14216v1>)

沿用其可回放和曝光记录；操纵任务家族相关性及反馈查询数，比较整次选择的误收，而非再提出相同门槛。

[VALVE（2026）：长期验证门与复用面板界](<https://arxiv.org/html/2609.32990v1>)

已明确处理自适应复用及样本量；本候选不重复理论贡献，检验仓库簇相关任务与相同预算下的经验校准，需逐项检查独立同分布假设。

[SkillEvoReg（2026）：正则化与候选反例](<https://arxiv.org/html/2609.30861v1>)

已有反例和验证选择检查点；本试验固定候选流，把相关样本与选择反馈当自变量，避免把候选生成质量差异当作门的效果。

[Dwork等（2015）：自适应分析和留出复用](<https://arxiv.org/html/1506.02629v2>)

统计问题及原理完全继承；新增对象是有调用成本、曝光缺失和任务簇的Agent实际验收，不能将经典方法改名为新算法。

## 2. 将干净PR的误报转成执行后的净损害测量

### 问题

两个审查器的错误评论率相近时，能否因建议可执行性不同，对同一自动作者造成不同的回归和修复轮数？

### 假设

在干净PR与带缺陷PR的配对集合上，要求审查意见附可复现证据并区分原有/新增问题，能比单纯提高投票阈值减少至少30%的误报诱发回归，同时真实缺陷修复率下降不超过5个百分点。阈值是预注册目标，不是已有结果。

### 科研 / 工程价值

工程师和自动修复Agent对同一误报的反应不同。把评论判定与执行后损害分开，可帮助选择审查阈值，避免评论精度很好却制造昂贵回归。

### 与已有工作的差别

干净PR已见SWR-Bench与DiffDojo，执行审查建议已见c-CRAB，均不是本次发明。拟新增的是在同一组PR上固定评论后随机执行/不执行，直接估计误报诱发的功能损失，并比较人和Agent的处置成本；不是把两种已有评分简单相加。

### 最小验证

4–6周。选60份经两位审阅者及保留测试核对的干净PR，再配60份同规模、同模块的可验证缺陷PR；测试通过不直接等于干净，分歧样本另列。冻结一个自动作者及两个审查配置，先生成并封存评论，再为同一评论建立执行与不执行分支，各至多3轮。用独立保留测试与盲审核对新回归；20份样本加人工处置计时。所有失败、拒修和未收敛分支计入分母。

### 比较基线

c-CRAB式建议执行与缺陷测试；SWR-Bench式干净PR误报；固定投票阈值。与带复现证据的意见在相同模型和审查预算下配对比较。

### 成功指标

主要报每100份干净PR由意见执行诱发的新回归数和总修复轮数；护栏为真实缺陷修复率、未修复严重缺陷。另报人类驳回误报的实际分钟数、调用费、停止后遗留问题，区间按仓库聚类。

### 放弃或修正的条件

若证据要求仅减少评论但不能降低执行后损害，或降低损害的代价是缺陷修复率越过5点劣化界，假设失败。若干净标签无法可靠复核，停止因果比较，先发布标签缺口和复现材料。

### 查新风险

高

### 伦理与使用边界

在可撤销的隔离副本中执行建议；人审参与者事前同意并按时间付费，不公开可识别个人工作表现。

### 从哪里想到它

[Cortex：先确认规则被读到，再判断是否值得留下](https://lcbreathe.github.io/ai-digest/reports/weekly/2026-W42.html#weekly-events-0)

[Claude Code团队：把审查噪声产生的修改算进成本](https://lcbreathe.github.io/ai-digest/reports/weekly/2026-W42.html#weekly-events-1)

### 最近邻工作

[c-CRAB（2026）：Code Review Agent Benchmark](<https://arxiv.org/html/2603.23448v1>)

它已把评论交给编程Agent并用测试验收；本试验不以此声称新颖，重点是干净PR上的执行/不执行反事实与新损害。

[SWR-Bench（2025）：平衡Change/Clean PR](<https://arxiv.org/html/2509.01494v1>)

继承干净与有问题样本的平衡和人审；由评论层误报进一步测固定自动作者执行后的净损失，且保留不执行分支。

[DiffDojo：植入缺陷及干净改动](<https://diffdojo.com/benchmark.html>)

现有基线测发现和批准判决，不能把“会拒绝干净PR”直接等同于“实际改坏”；拟测两者之间的转移概率。

[Claude Code团队（2026）：有害噪声和收敛](<https://claude.dev/blog/solving-code-review-at-anthropic/>)

原文已统计干净PR上可能诱发有害修改的意见；候选贡献只限公开可复做的分支实验与实际修改损害，不声称首创指标。

## 3. 用同一任务的不同交接版本检验覆盖图稳定性

### 问题

最终交付目标和测试保持不变时，把完整需求拆成逐步交接，是否会改变基准到职业任务的映射与模型完成率，而且两种变化方向并不一致？

### 假设

至少20%的成对任务会在职业标签数量或覆盖判定上变化，但这些表述变化不能稳定预测实际成功变化；在映射中明确必需资料、交接动作及验收对象，可使标签不一致比例至少下降三分之一。均为待测目标。

### 科研 / 工程价值

职业覆盖图会参与模型采购和选题。即使某项职业标签不变，约束何时出现、需要人补多少材料仍会改变工作量；先做敏感性试验可定位该补任务还是补接口。

### 与已有工作的差别

不再制作一份职业排行榜，也不主张首先测试多步任务。拟检验覆盖映射对任务表述与交接协议的可控敏感性：同一终态的三个版本只算一个任务家族，并把映射漂移与真实能力变化交叉分析。它比“加权重排榜”更窄，新颖性仍有重叠风险。

### 最小验证

3–5周。取40项代码任务与40项可本地复建的办公流程，每项做完整单次需求、分步交接、分步交接加一次约束澄清三个版本；由两位标注者确认最终目标与测试一致，不编造真实企业案例。使用两种映射模型、两种执行模型；数据按原任务家族分开。比较逐题映射与带必需条件的映射，再把版本级映射差和完成率差分开报告。先试验10家族，若终态无法保持等价则停止扩大。

### 比较基线

Mercor式逐题O\*NET映射；Wang等的领域/活动分层映射；SWE-TaskFlow的分步需求协议。保持相同目录版本、映射模型和任务集合，不与另一套题目换榜比较。

### 成功指标

主要指标为同家族标签集合的交并比（Jaccard）差异、覆盖门槛跨越率、人审一致性；能力侧另报最终测试成功、用户补充信息量、往返和总成本。不能用提高标签稳定性代替保持真实差异，新增必要交接也须被识别。

### 放弃或修正的条件

若原映射在等价版本间已稳定，或改进方案只是把真实不同的交接需求抹掉，假设失败；若控制标注者分歧后变化消失，不把它解释成模型能力缺口。发现近邻已有相同干预实验时，只保留复现价值。

### 查新风险

高

### 伦理与使用边界

使用公开有许可任务与合成等价变体，不使用企业私有数据；职业分类不用于评判具体求职者或推断个人能力。

### 从哪里想到它

[Claude Code团队：把审查噪声产生的修改算进成本](https://lcbreathe.github.io/ai-digest/reports/weekly/2026-W42.html#weekly-events-1)

[Mercor职业图谱：先找出评测尚未测到的工作](https://lcbreathe.github.io/ai-digest/reports/weekly/2026-W42.html#weekly-events-3)

### 最近邻工作

[Mercor Benchmark Map（2026）及方法](<https://www.mercor.com/research/labor-index/benchmark-map/>)

已有职业覆盖、标签与权重比较；本候选不重算全经济比例，只对同一交付目标的协议版本做配对敏感性试验。

[Wang等（2026）：Agent开发与真实工作](<https://arxiv.org/html/2603.01203v2>)

已有分层职业/活动映射及工作流复杂度；拟固定原任务终态，干预信息到达和澄清条件，分开映射变化与执行变化。

[SWE-TaskFlow（2026）](<https://arxiv.org/html/2610.09633v1>)

已保持测试并拆分需求、插入问答；在其协议上增加职业映射不变性和多对一计数检查，不声称分步任务是新设计。

[WorkArena++（2024）](<https://arxiv.org/html/2407.05291v1>)

已有复合办公任务和复杂度层级；只借其可执行工作流，不把更多步骤当更多独立职业任务。