2026-W42 周报

两个审查器的错误评论率相近时,能否因建议可执行性不同,对同一自动作者造成不同的回归和修复轮数?

在干净PR与带缺陷PR的配对集合上,要求审查意见附可复现证据并区分原有/新增问题,能比单纯提高投票阈值减少至少30%的误报诱发回归,同时真实缺陷修复率下降不超过5个百分点。阈值是预注册目标,不是已有结果。

干净PR已见SWR-Bench与DiffDojo,执行审查建议已见c-CRAB,均不是本次发明。拟新增的是在同一组PR上固定评论后随机执行/不执行,直接估计误报诱发的功能损失,并比较人和Agent的处置成本;不是把两种已有评分简单相加。

工程师和自动修复Agent对同一误报的反应不同。把评论判定与执行后损害分开,可帮助选择审查阈值,避免评论精度很好却制造昂贵回归。

4–6周。选60份经两位审阅者及保留测试核对的干净PR,再配60份同规模、同模块的可验证缺陷PR;测试通过不直接等于干净,分歧样本另列。冻结一个自动作者及两个审查配置,先生成并封存评论,再为同一评论建立执行与不执行分支,各至多3轮。用独立保留测试与盲审核对新回归;20份样本加人工处置计时。所有失败、拒修和未收敛分支计入分母。

c-CRAB式建议执行与缺陷测试;SWR-Bench式干净PR误报;固定投票阈值。与带复现证据的意见在相同模型和审查预算下配对比较。

主要报每100份干净PR由意见执行诱发的新回归数和总修复轮数;护栏为真实缺陷修复率、未修复严重缺陷。另报人类驳回误报的实际分钟数、调用费、停止后遗留问题,区间按仓库聚类。

若证据要求仅减少评论但不能降低执行后损害,或降低损害的代价是缺陷修复率越过5点劣化界,假设失败。若干净标签无法可靠复核,停止因果比较,先发布标签缺口和复现材料。

c-CRAB(2026):Code Review Agent Benchmark:它已把评论交给编程Agent并用测试验收;本试验不以此声称新颖,重点是干净PR上的执行/不执行反事实与新损害。

SWR-Bench(2025):平衡Change/Clean PR:继承干净与有问题样本的平衡和人审;由评论层误报进一步测固定自动作者执行后的净损失,且保留不执行分支。

DiffDojo:植入缺陷及干净改动:现有基线测发现和批准判决,不能把“会拒绝干净PR”直接等同于“实际改坏”;拟测两者之间的转移概率。

Claude Code团队(2026):有害噪声和收敛:原文已统计干净PR上可能诱发有害修改的意见;候选贡献只限公开可复做的分支实验与实际修改损害,不声称首创指标。

Cortex:先确认规则被读到,再判断是否值得留下

Claude Code团队:把审查噪声产生的修改算进成本