Asana · 工程实践 · 阅读原文

原始来源:Asana · 工程实践(asana.com)

发现渠道:OpenAI News

Asana 团队排查浏览器 Agent 的调用成本时,发现一个容易忽略的细节:为了缩短上下文而逐轮删除旧截图、裁剪历史,会改动本来可以复用的请求前缀,使缓存失效。因此,仅仅开启缓存,并不能保证后续请求更便宜。团队调整了历史预算、工具结果缓存和截图移除策略,让历史在更多轮次里保持稳定,再按批次清理。作者报告,保留原生产模型时,一组联合优化带来了约 29 倍的成本改善;另换模型后的比较达到约 76 倍。后一个数字包含模型选择的影响,并不是缓存策略单独带来的收益。

可信度 65 · 重要性 77 · 新颖度 73

技术与主题

Agent 系统 · 系统与效率 · 评测与基准 · Browser Agent · Prompt Caching · Context Management · Inference Cost

编辑评读

缓存依赖稳定的请求前缀。若每轮都从前面删一张截图,后面本来没变的历史也可能无法复用。于是出现一个不直观的结果:输入更短了,付费重新处理的内容却更多。文章最有用的地方,是提醒我们先检查请求怎样变化,再决定要不要压缩。

约 29 倍的改善发生在保留原模型时,但那仍是一组改动的合计,不能全部归给某一种截图策略;约 76 倍又加入了换模型的影响。要找出自己系统里哪项改动有效,可以固定模型和任务,先只改变清理历史的频率,同时记录命中量、总费用和完成率。

长任务可能更容易积累可复用的历史,短任务未必有同样的收益。还要单独看缓存未命中的请求:保留更多上下文,在这时会增加成本。上线前把这两类账单分开,比套用文章里的倍数更可靠。

需要留意

  • 单一目录信息提取任务、每条件仅少量重复;不能外推成本到本日报。
  • 关联企业的两篇报道不是独立佐证;未取得原始逐次 token 账单。

核查依据

所属事件

收录记录