长时间运行的编程 Agent 每完成一次工具调用,往往就把此前的对话、工具结果和图片再发送一遍。历史越来越长,客户端上传、服务端校验和分词都会增加等待。Anthropic 将 message threads 开放公测:首轮发送完整会话,后续只发送新增消息与上一轮响应的 ID,由服务端接回已有对话。
官方称,Claude Code 中50万至100万 token 请求的首 token 等待时间中位数下降约35%。这是这一长度区间的等待指标,并非整个任务耗时下降35%。线程以加密形式暂存在内存,距上次请求5分钟后到期;应用仍须保存完整历史,在无法续接时重新创建线程。模型每轮看到的完整对话没有变,token 使用量也不因少上传而减少。
文档还区分了两种经常混淆的复用:线程保存消息,prompt caching 则需要另行设置缓存控制。前者不会自动打开后者。线程只能追加,每个响应 ID 只能继续一次;改系统提示、工具定义或旧消息,需要用完整历史开启新线程。这让活跃、连续的长会话更轻,却要求客户端从开始就设计好回放路径。