Viking、随机比特、Louis 路易斯 · X 公开讨论 · 阅读原文
原始来源:Viking、随机比特、Louis 路易斯 · X 公开讨论
Viking 分享 Claude Code 团队的代码审查文章时,把问题概括为:代码多到人读不过来后,怎样少花人工时间,同时不增加回滚和事故。他说自己已实践部分流程,但没有给出样本、事故变化或工时统计。这是从业者对工作目标的理解,不能直接当作“人已经可以停止看代码”的验证。
回复里,随机比特提出一个具体补丁:试行只看标红内容时,也给未标红的 PR 保留固定抽检比例,并记录漏报和复查耗时。Louis 路易斯则指出,真正难的是规定哪些修改可以直接做、哪些必须由人看;其团队目前采用 AI 出意见、人确认后合并。前者补足看不见的错误样本,后者明确执行权限,两者解决不同环节。
追溯原始团队文章可见,其审查系统不仅统计评论是否被采纳,还在已知干净的 PR 上检查可能诱发有害修改的意见,并控制反复审查的轮数。原文报告过一夜五十多轮的审查循环,之后加入轮数上限、后续只审差异及避免重复意见等措施。这说明减少人工阅读需要新的反馈安排,不能仅把审查者换成模型。
本条来自固定程序已取得的公开 AI 帖子及首屏回复快照。它只代表这些作者的观点和实践陈述,不代表全部评论,也没有提供对同一流程的受控成效比较。
可信度 65 · 重要性 78 · 新颖度 75
技术与主题
Agent 系统 · AI 编程 · 评测与基准 · AI Code Review · False Negatives · Human Approval
Viking
分享Claude团队审查文章的原帖;自述已实践部分流程。
忠实转述(非原句):他把目标放在减少人工审查时间,同时避免回滚和事故增加;认为文章包含可落地的流程。他没有给出自己团队执行后的量化结果。
随机比特 @XShude
回应原帖:Viking
对“只看标红”试行方式的建议,不是已经做完的测试。
忠实转述(非原句):他建议为未标红PR设固定抽检比例,记录漏报和人工复查时间,再与标红样本的数据对照。
Louis 路易斯 @aijjxtLouis
回应原帖:Viking
同帖回复中的团队实践陈述,未给成效数据。
忠实转述(非原句):他认为最难的是划清AI能直接改动与必须人审的界限;自己的团队先让AI提出意见,由人确认后再合并。
编辑评读
抽检未标红 PR 的价值,在于修正只观察“模型认为有问题”的选择偏差。如果团队只记录被提示后的修复,就容易看到更多有用评论,却看不到安静放行的错误。抽检样本应与标红样本分别统计,才能比较漏报、误报和人工时间;仅用“评论采纳率”无法回答上线后的净收益。如果两组抽查比例不同,汇总漏报也需按对应样本规模估计,不能直接相加发现的问题数。
另一个容易被忽略的环节是评论怎样转成修改。相同错误意见,人可能忽略,自动作者却可能认真执行,带来新回归和下一轮审查。可在干净改动上保留不执行意见的对照分支,检查执行后行为与轮数;这也是本期回访旧研究问题的原因。现有帖子和团队统计没有完成这个反事实测试,因此这里只提出可做的验证,不宣称已经证明某种审查方式更安全。
需要留意
- 三位作者的公开观点与个人实践;首屏评论样本,没有同流程受控成效数据。