Asana 团队排查浏览器 Agent 的调用成本时,发现一个容易忽略的细节:为了缩短上下文而逐轮删除旧截图、裁剪历史,会改动本来可以复用的请求前缀,使缓存失效。因此,仅仅开启缓存,并不能保证后续请求更便宜。团队调整了历史预算、工具结果缓存和截图移除策略,让历史在更多轮次里保持稳定,再按批次清理。作者报告,保留原生产模型时,一组联合优化带来了约 29 倍的成本改善;另换模型后的比较达到约 76 倍。后一个数字包含模型选择的影响,并不是缓存策略单独带来的收益。
持续追踪
持续追踪
Asana 团队排查浏览器 Agent 的调用成本时,发现一个容易忽略的细节:为了缩短上下文而逐轮删除旧截图、裁剪历史,会改动本来可以复用的请求前缀,使缓存失效。因此,仅仅开启缓存,并不能保证后续请求更便宜。团队调整了历史预算、工具结果缓存和截图移除策略,让历史在更多轮次里保持稳定,再按批次清理。作者报告,保留原生产模型时,一组联合优化带来了约 29 倍的成本改善;另换模型后的比较达到约 76 倍。后一个数字包含模型选择的影响,并不是缓存策略单独带来的收益。