Mason Mosen · X · 阅读原文

原始来源:Mason Mosen · X

在一则代码清理讨论的回复里,Mason Mosen说,自己改prompt后会强制回放同一批旧失败,避免把某轮运气好误当改进。该回复保留了一个具体工程习惯;它没有公布任务集、运行次数或对照结果,这条经验本身尚不足以证明修改有效。

可信度 65 · 重要性 59 · 新颖度 63

技术与主题

Agent 系统 · AI 编程 · 评测与基准 · Prompt Evaluation · Regression Testing

Mason Mosen

观点原文

回复代码清理话题,表述自己的回放习惯;不作为父帖规模数字或Cortex的独立佐证。

忠实转述(非原句):他称自己改prompt后会回放同一批旧失败,否则可能只是这一轮运气好;也认为公开实际提示词有参考价值。

编辑评读

旧失败回放可以检验这次修改是否解决了原问题,不能单独检验有没有破坏原先成功的工作。和Cortex放在一起读,这条简短经验的下一步很明确:保留原失败,同时留一批可能受影响的成功任务;需要重复运行时,也不要把重复次数当成不同案例数量。

需要留意

  • 单条公开回复;没有取得可复用任务集和效果数据。

核查依据

所属事件

收录记录

由这条线索延伸:给 Agent 的规则更新配一份“旧成功保护清单”