Suchintan Singh · Skyvern · 阅读原文
原始来源:Suchintan Singh · Skyvern
Skyvern 是执行网页操作的 Agent。旧流程每轮先生成带标注的截图,再解析页面、筛出可能有用的元素交给模型。这样做看似节省输入,却把预处理器变成了信息入口:隐藏在 Shadow DOM、内嵌框架或特殊控件里的内容若没被提取,后面的模型再强也看不到。
团队改成让模型按需取信息。它可以生成 JavaScript 读取页面,调用浏览器动作工具,必要时截图,最后结束任务。原先每轮固定准备的材料,变成执行中主动选择的工具结果;能用页面结构解决时,不必总传图像。
作者报告约十万次生产运行的 A/B 比较:平均耗时从593秒降至262秒,每次成本从0.039美元降至0.0302美元。与此同时,平均模型调用从6.4次升至23次,总 token 从约18.8万升至28.6万;缓存命中率从27%升至79.7%。更多小轮次可以复用已有前缀,较少的单轮输入也降低等待,因此总量增长与账单下降并不矛盾。
这是整套执行方式重构后的作者自报结果,不能把全部收益单独归给“删除 RAG”。文章另列的 Odysseys 基准成绩来自另一项测试,不能充当这十万次运行正确率不变的证据。文章发布于10月1日、6日更新,本期由近期讨论重新发现。
可信度 65 · 重要性 82 · 新颖度 66
技术与主题
Agent 系统 · AI 编程 · 系统与效率 · Browser Agent · Prompt Caching · Tool Use
naw103
该文章的 HN 讨论;个人运行经验,未给模型、样本和量化结果。
忠实转述(非原句):他也发现,减少预先提供的工具信息,让模型在需要时拉取内容,对自己的运行更有效。这与按需读取的方向相近,但没有相同任务或独立测量,不能算对2.3倍结果的复测。
编辑评读
这项实践改变的是“该由谁决定读取什么”的设计选择。若预处理规则经常漏掉任务所需的页面状态,把读取权交给模型可能扩展可处理的页面范围;代价是执行路径更长,也更依赖工具是否能准确暴露内容。判断是否值得迁移,应先检查失败轨迹:究竟是模型选错了动作,还是必要信息在模型看到之前就被丢掉了。两种问题需要不同的改法。
成本比较也需要换一个单位。每次模型请求更短不等于整项任务更省,而总 token 更多也不等于账单更高;复用比例、截图使用和调用等待共同影响结果。可在固定任务集上保存成功状态、总费用和端到端时间,比较按需读取与现有预处理,再针对缓存或截图策略做局部替换。本期没有运行这些比较,因此更合理的采用依据是可检查的机制与作者生产结果,尚不能承诺相同倍率。
需要留意
- 生产A/B是整套重构的作者自报;基准结果另有负载,不混作生产正确率证据。