Roberto Aranda · OpenStation Blog · 阅读原文
原始来源：Roberto Aranda · OpenStation Blog
发现渠道：Hacker News · 讨论线索
Aranda在同一项目保留和删除注释的两个版本上，让Claude Code / Opus 5.5以相同设置完成两项功能，每种条件各跑三次。检查包括原有测试及较大任务的保留测试，所有运行都通过。小任务删注释后token较少，大任务费用与分数差别很小；单次运行的自然波动足以让人讲出相反的成本故事。
可信度 65 · 重要性 68 · 新颖度 62
技术与主题
AI 编程 · 评测与基准 · Repeated Trials · Hidden Tests · Coding Agents
Roberto Aranda
作者本人项目的消融记录；代码质量还由另一Claude会话按预先量表盲评，不能因此称完全独立测量。
忠实转述（非原句）：他最初准备每组只跑一次，后来发现同一较大任务的token跨度很大：挑不同运行对比，删注释既可能显得便宜，也可能显得更贵。因此保留每组的三次结果。他最终倾向按对人类读者是否有用决定留删注释，并承认只测一个模型和两项任务，无法证明注释效果为零。
huijzer
同一注释消融文章下的解释性评论，没有复跑。
忠实转述（非原句）：他认为原项目多数注释由AI生成，模型读代码时可能已有生成这些注释所需的信息；因此更想看人工写的注释是否不同。
bbor
同一讨论中的方法批评；仅保留与实验设计有关的意见。
忠实转述（非原句）：他认可重复运行的用意，但认为三次不足以很有把握地称差别为噪声；还质疑较大任务是否足够困难、结果能否推广到其他模型与代码库。
编辑评读
这是一份适合学习如何报告小实验的记录：任务数、重复次数、轮换顺序与模型裁判都交代了，比只晒一次成功更容易审查。隐藏测试还覆盖了页面重载后的状态保留，避免完全依赖Agent自己写的检查。
不过，三次运行也不能自动变成“已经排除大效应”。独立任务只有两个，同一项目里的重复主要说明运行波动；没有针对某个效应大小作精度分析，就不宜把未观察到差别写成等效证明。注释有没有帮助还可能取决于注释是否解释设计意图，而非重复代码。 HN的huijzer另问人工注释会否不同，bbor则要求更谨慎解释三次重复；两者都是对设计的评论，并非复现实验。
值得直接借用的是报告全部运行。先写好验收与比较方式，再看两组结果的重叠，能减少从一次异常费用中挑故事的空间。是否删除注释，仍应考虑人的维护需求；这份实验不足以替所有代码库作决定。
需要留意
- 仅两个任务；三次重复不能代替跨项目样本，未报告等效性检验。