持续追踪

旧支架退出,要看它曾经替谁做了什么决定

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-31 · 当时的记录

旧知识库已经提出“模型升级后应重审临时规则”。这周两项工程复盘把问题推进了一步:不能只问某条规则还省不省token,还要问它是否阻断了模型发现新解法的机会。Skyvern 的预处理把网页变成元素列表,本意是帮助模型,却使“没有被抽取出来”变成“无法采取行动”;Content Studio 的固定组件降低了早期设计的不确定性,也限制了后来的表达空间。共同之处不是都删了代码,而是旧系统提前替模型缩小了可见信息或可选行动。

这里可以区分两种约束。第一种是能力补偿:因为旧模型看不清网页,工程师替它挑好元素;因为旧模型设计不稳定,团队替它预定组合。第二种来自任务本身:表单最终必须正确、素材授权必须可用、用户必须有机会在昂贵渲染前改变方向。模型变强可能让第一类过时,却不会自动取消第二类。LangChain 一边删设计规则,一边用代码锁住故事板到成片的阶段,恰好让这一区别可见。

机制还涉及成本怎样随过程改变。Skyvern 并没有用更少思考换速度:轮次和token增加,但重复图片减少、缓存前缀更稳定。回访 Asana 的早期实验也能看到另一条路径:保留较长历史并批量裁剪,使缓存有时间被重复读取。这两者都反驳了只看请求长度的优化直觉,却不能互相证明各自的倍数。Asana 每条件仅三至四次运行,而且跨模型的76倍与同模型的29倍应分开;Skyvern 则是生产架构整体改变。先测重复计算发生在哪里,比先决定“缩短”或“删掉”更有依据。

这不意味着上下文越多越好。按需获取要求模型能意识到缺什么,并有可用工具补齐;已有抽取器在固定网页上可能又快又稳,换成自由探索会增加无谓步骤。缓存也只节省重复前缀的处理,不保证上下文中的信息正确。因而一条规则是否退役,应该比较它保护的结果与它造成的机会损失:旧任务是否仍能完成,过去做不到的任务是否开始可行,失败是否更容易定位,人员返工有没有增加。

读者可迁移的方法是给重要补偿措施留下一份简短的“最初为什么需要它”:保存一个实际失败例、所保护的结果和当前适用模型。下一次升级时,选择代表任务比较保留与撤去,允许先让一小部分路径退出,而不必整套推倒。这个办法由本期材料推导,我们没有替读者做过对照实验。若改善只在演示任务上出现,或删去规则后靠人工补救才能维持交付,就应恢复或改造它。

因此,本周对旧判断的修订不是加一句“更少即更好”,而是把退出条件从成本扩大到能力空间和反馈位置:哪些预先决定应交还模型,哪些任务取舍必须继续让人看见。更强模型的价值可能体现为找到原流程没有预留的路径;要使这种价值进入工作,团队需要允许路径变化,同时仍能说明结果为什么值得信任。

回到当期正文 ↗

查看依据Skyvern按需读取 · Content Studio阶段安排 · Asana缓存实验

2026-10-29 · 当时的记录

维护 Agent 时,最容易留下的是过去有效的一条指令,最容易丢失的是它当时为什么有效。模型不善于设计,于是限定组件;容易漏步骤,于是要求固定顺序。每次失败加一条,系统会越来越像旧模型的使用手册。本期设计 Agent 的经验给出另一种可能:能力升级后,一部分曾经帮助完成任务的规则,开始减少可选择的方案。

我们的判断是,更新规则时应同时问“它还在防止哪种失败”与“它挡住了什么新做法”。知识库此前关于规则回归的想法,关注改动后别破坏旧的成功案例;现在需要补上另一侧:保护成功结果,不必等于保护当时那条实现路径。LangChain 放开组件选择但保留品牌要求,正好把这两者分开。不过它是团队复盘,不能据此声称所有约束越少越好。

Charles Miller 的提醒解释了为什么这项维护会越来越重要。某些技巧的价值来自模型暂时做不到,产品一旦吸收这项能力,继续学习或执行旧技巧便可能只剩成本。评论者的反驳又阻止我们走向另一个极端:判断边界本身需要实践。值得保留的经验不是永远照着某个提示写,而是知道原先失败在哪里,并愿意在条件变化后重新检查。

Simon 的游戏让退出条件更难、也更清楚。生成代码和画面变容易,并不意味着“好玩”这个目标也该撤掉。作者与试玩评论者对同一成品的评价不同,说明验收不能只问它有没有运行。对创作任务,规则可以放松,但应保留外部体验反馈;对结构化工作,则可保留明确的格式、计算与交付检查。不同目标需要不同证据,不能让一张成功截图替代所有判断。

一种可尝试的做法,是为重要规则留下最初的失败例子和它要保护的结果。模型升级后,在少量代表任务上比较保留与撤除的效果,同时检查旧成功、新机会和返工成本。若只改善外观却增加流程故障,便不能算退役成功;若输出稳定满足目标而做法更多样,也没必要强迫它回到旧模板。这是由本期材料推导的工作方法,尚未做过这样的对照试验。

这个判断的边界也很实际:权限、事实准确性和必要交付条件,往往来自工作本身,不是旧模型能力不足。它们不能因为一次漂亮演示就被当成过期补丁。真正值得追踪的是,同一任务目标下,哪些临时安排已经没有收益,以及使用者能否说明删去它们后为什么仍然放心。这样,模型进步才会改变工作的可选路径,而不是只让原来的流程跑得更快。

回到当期正文 ↗

查看依据原始依据 · 原始依据 · 原始依据