内置imagegen生成的概念插画:快速到达的代码块在人工检查关口转成可用交付;不是新闻照片或实验数据。

DAILY AI INTELLIGENCE

最新日报 历史日历 ↗

2026-10-13 · AI 日报

代码生成更快之后,审查怎样跟上?

9 条精选1 份学习材料资料截至 2026-10-13 08:01(北京时间)

EDITOR’S NOTE

本期导读

代码写得更多,却未必交付得更多。企业工作论文发现,Agent 采用后 PR 数量上升,合并等待也变长;Vapi 的另一份实践却报告,能跑复现的审查机器人让合并更快。为什么会出现不同方向?本期编辑观察先把队列等待、人实际检查和最终返工拆开,再读企业流程研究、Vapi 审查实验与 SWE-TaskFlow,看看各自到底测到了哪一步。

另一个问题在上下文里:把工具输出缩短,省下的是输入字节,还是整段任务的费用?Context Mode 已有比压缩比例更进一步的测量,也有具体检索遗漏。我们补查当前文档和旧批评,保留新的正面证据,同时追问信息外置后能否找回关键约束。MetaKernelBench 的经验迁移试验则提醒,存下来的建议也可能让下一次尝试退步。今天值得带走的是这些可以分别验证的问题,而不是一条统一的提效结论。

组合筛选

METHODS & SYSTEMS

技术进展

07
值得读AI 编程 / 评测与基准
追踪记录 ↗

代码多了三成,交付为何没有同比增加?

技术Coding AgentCode ReviewDifference-in-Differences
可信度
65
重要性
83
新颖度
66

研究使用 718 家企业、约 3 亿条工程活动记录,数据截至 2026 年 3 月,以错时采用 AI 工具做双重差分。作者估计,Agent 采用后代码行数增加 30%,PR 增加 23%,从提交到合并的时长增加 49%;Jira 事项与项目完成数没有显著增加。它测量企业流程的变化,不是逐个任务随机分配的效率试验。论文版本为 8 月 4 日,本期因新增讨论重访。

作者图 11:左为 Agent、右为补全式助手采用前后的合并日历时长估计;纵轴单位为天,误差线为原图区间。左侧基线 7.03 天,合并估计增加 3.45 天(标准误 1.60);右侧效应未显著。两组基线不同,不能把两条曲线当作随机对照。模型控制基线企业规模,使用双向固定效应。Fiona Chen、James Stratton,2026-08-04 工作论文图 11;为讨论该测量口径引用单幅图表。 · 原文图表 · 图片出处 ↗

radlad · 原帖 / 原文

语境:讨论这份研究;个体代码审查体验,未独立复测企业数据。 · 读取时间:2026-10-13

逐句忠实转述(非原文)

他看到 AI 找出以前漏掉的重要 bug,也看到一长串很少会触发的问题。即使决定记录或忽略,人仍要先理解每一项,所以“找到更多问题”也会带来分流工作。

jefftk · 原帖 / 原文

语境:针对同一论文的时效与采用阶段提出异议;其所列模型范围未在本期逐一复核。 · 读取时间:2026-10-13

逐句忠实转述(非原文)

他提醒读者,论文发表和媒体报道都晚于数据形成,采用初期的流程未必代表团队后来磨合好的做法。本文据原论文保留真实截止日期,没有把这条评论当成研究已被推翻。

KumaBear · 原帖 / 原文

语境:同一讨论中的个人项目反例;不用于反驳企业平均估计。 · 读取时间:2026-10-13

逐句忠实转述(非原文)

他反对把结果扩大到个人软件:一些过去以为没有时间做的项目,现在能够完成。个人新增产出与公司 Jira 完成数测量的是不同对象。

编辑评读

最容易误读的是“审查时间”。论文把它定义为 PR 提交到合并的日历时长,其中既有检查,也有排队和返工。它不能直接换算成审阅者多花了多少小时。若生成速度提高而审阅容量不变,队列就可能变长;若改动更难理解,也可能变长。要区分两种解释,需要人的实际操作时间与缺陷记录,单看合并时间还不够。

双重差分比只问开发者“觉得快了多少”更有约束力,但仍依赖采用前后可比的趋势。采购时点、团队制度和未被检测到的个人使用都可能影响分组。数据来自分析平台客户,结果也不能直接搬给个人项目。没有显著增加不等于效果严格为零,更不意味着十月新模型已被这份研究测过。

Vapi 提供了另一种实际设置:生成之外,把审查也交给能跑复现的 Agent。它的前后变化没有随机对照,却足以让“AI 一定拖慢审查”这句泛化站不住。两份材料更值得共同追问的是:哪类改动适合自动核验,哪类检查只是把更多解释工作转给人。

依据 1 · 依据 2

值得读Agent 系统 / AI 编程 / 评测与基准
追踪记录 ↗

Vapi:让审查机器人证明问题,也把误报算进成本

技术Code ReviewExecutable VerificationFalse Positives
可信度
65
重要性
81
新颖度
74

Vapi 的 Pedantic Review Bot 可运行测试与小复现,分析和发评论分属两个 job;分析会话去掉 Git 凭据,发帖端只能评论。团队自报 PR 从打开到合并的平均时间由 130 多小时降至 65 小时。更有启发的是单 PR 实验:101 个提示版本产生的发现交给 AI 裁判,改重误报代价后,胜出提示发生变化;另一个已知 lint 阻断缺陷仅被 194 次代码审查中的 8 次找到。

Lat Ware · 原帖 / 原文

语境:Vapi 工程师的实践自报;文章由 Amanda Martin 撰写,以下转述实验判断。 · 读取时间:2026-10-13

中文译文 · 点击句子切换原文

逐句忠实转述(非原文)

他重新加重误报成本,因为每个额外问题无论真假都要工程师检查。他还区分 PR 新引入的问题与父版本已有的问题:两者都可能值得修,但对是否合并的影响不同。

编辑评读

这个案例的优点是把“指出问题”进一步变成“提供能检查的证据”。测试、调用链和最小复现让人可以判断发现是否成立;只允许评论又让提出意见与修改代码分开。对原本需要等几天的队列,花二十分钟查一个 PR 可能很划算,但这种延迟预算不适合所有团队。

101 次提示试验的实验单位仍是一个 PR。重复运行能测提示和采样的变化,不能替代更多种缺陷与仓库;AI 裁判的判断也不能当作独立人工真值。已知阻断缺陷被大量运行漏过,更直接说明“发现的总分”与“找出不可合并的问题”不是一个目标。

130 多小时到 65 小时是一家团队的前后自报,不能把全部变化归因于机器人。它仍提供了值得验证的设计:把阻断缺陷召回、误报需要人处理的时间和最终返工同时记录。只追求评论更多,会把机器人显得更勤奋,却让审阅者更忙。

依据 1

值得读Agent 系统 / AI 编程 / 评测与基准
追踪记录 ↗

SWE-TaskFlow:同一个补丁,换成交互流程就可能更贵

技术Interactive EvaluationSWE-benchTask Flow
可信度
65
重要性
76
新颖度
76

作者分析 4,782 个 IDE Agent 会话,并聚焦其中至少三条用户消息的 33%。真实请求混合解释、计划、审查和实现;SWE-TaskFlow 保留已验证任务和测试,把需求分步给出,再插入可核验的仓库问答。700 个 SWE-Bench Pro 任务的试验中,拆分需求约使费用翻倍,却未形成稳定的解决率排序。这是交互协议的测量,不是“多聊几轮一定更差”。

编辑评读

保持代码目标与最终测试不变,只改变信息何时出现,是这项工作的价值。它把模型会不会修补丁,与能否跟随逐步变化的需求分开测量。同样一个通过率,如果一个方案需要更多往返,另一个要求用户预先写出完美需求,体验和成本都不同。

长会话只占原始样本三分之一,不能据此描述全部用户。任务类型由模型分类并有人审阅,类型分布仍有分类误差;合成问答与真实用户临时改主意也不同。TaskFlow Alignment Score 衡量分布对齐,不是软件质量,更不证明高分轨迹一定适合别的 IDE。

比较产品时,可以保留原有补丁验收,再增加需求追加、解释已有行为、纠正错误理解等过程检查。要固定任务集合与预算,分别报告最终成功、费用、用户介入和关键中间答案;避免用更多对话次数冒充更多独立任务。

依据 1

值得读Agent 系统 / 系统与效率 / 检索与知识
追踪记录 ↗

Context Mode:压缩比例、任务费用与检索遗漏要分开看

技术Context ManagementMCPBM25Prompt Caching
可信度
65
重要性
74
新颖度
71

Context Mode 用 MCP 工具把大输出留在外部,按需经 FTS5/BM25 检索,并记录会话事件。仓库基准的 98% 是一组结构化输出进入上下文前的字节缩减。当前网站另报告 Claude Code 的成对任务费用估算,须与仓库插件区分;其 9 月 29 日测试把多种机制同时打开。10 月 12 日的候选 PR 还报告非 ASCII 词边界导致记忆检索遗漏,真实模型循环尚未验证。

mergeconflict · 原帖 / 原文

语境:2026-03-15 的代码与方法分析;只用来比较当时的98%口径,不作为当前漏洞验证。 · 读取时间:2026-10-13

逐句忠实转述(非原文)

他认为只比较原始输出与摘要长度,漏掉了读者随后搜索正文的成本。对于索引再检索,他认可基本思路,但要求看实际需要多少次搜索。

funaileo · 原帖 / 原文

语境:context-mode 1.0.169、Linux机器上的钩子开销记录;不同机器与版本不能直接套用。 · 读取时间:2026-10-13

逐句忠实转述(非原文)

他报告 Bash 调用即使没有输出,也要启动前后两个运行时并记会话事件;重复三十次的测量中,钩子的 CPU 时间约为 55–70 毫秒。他要求无事可做的调用走更轻的路径。

rudycelekli · 原帖 / 原文

语境:候选修复与测试作者;公开正文有基准对照,但不是本期编辑独立复现。 · 读取时间:2026-10-13

逐句忠实转述(非原文)

作者报告俄文查询在原版本取不到自有指令文件的记忆,在候选修复中取到了。同时保留真实 Claude 模型循环未验证、全套仍有一个原有失败的限制。

编辑评读

先把日志变成统计、把文档索引后按需读取,确实能避免反复把无关内容塞进提示。这种收益不应被一概否定。不过,摘要缩短只是输入变化;最终费用还取决于追问、回读、缓存和是否修对问题。一个找不到关键记录的便宜答案,不是同等质量下的节省。

3 月 mergeconflict 的分析已追问检索往返成本。今天补查当前网关文档,发现它已有成对任务费用与成功检查,不能继续写成“项目从未测过任务成本”。相反,这些结果也不能自动批准仓库里的全部功能:文档测试的是网关、多机制组合与特定 Claude Code 版本,订阅用量按标价换算,并非实付账单;同一脚本任务重复多次,也不是多种真实任务。

具体失败比抽象怀疑更有帮助。候选 PR 1295 的作者用基准和改后版本比较俄文记忆检索,但明确没有完成真实模型调用循环。它支持检查多语言召回,不证明所有中文请求失效。我们应把节省的输入、额外检索次数、目标信息命中和最终验收一起测,保留失败运行的费用。

依据 1 · 依据 2 · 依据 3 · 依据 4 · 依据 5

值得读Agent 系统 / AI 编程 / 评测与基准 / 基础模型
追踪记录 ↗

Muse Wonder:模型进步,要连同推理强度和执行器一起比较

技术Agent MemoryLong-horizon TasksCoding Agent
可信度
65
重要性
80
新颖度
80

Meta 发布 Muse Wonder 与 Muse Wonder Full,强调跨会话记忆、遇阻换策略及在重要动作前确认。普通版进入 Meta API 与 Muse Code,Full 起初只在 Muse Code 提供。Artificial Analysis 以最大推理强度测得 Intelligence Index v4.3 为 52 与 56,前代为 48;另有低强度小样本测试。它们回答的条件不同,不能把同价、单一总分或厂商自报直接换成仓库工作效率。

Artificial Analysis · 原帖 / 原文

语境:10月12日自有测量;Index v4.3,最大推理强度;普通版与Full分开。 · 读取时间:2026-10-13

逐句忠实转述(非原文)

机构报告相对前代的智能指数增长,同时提醒 Full 没有按 token 的定价,所以没有给它计算同口径的每任务费用。

Quantslant · 原帖 / 原文

语境:10月12日23任务、每任务一次、低推理强度、自动判定;关于AA排名的段落仍是转载,不另计证据。 · 读取时间:2026-10-13

逐句忠实转述(非原文)

测试者报告大部分任务接近满分,并明确不到一个百分点的差距属于噪声范围。这个测试只支持它实际运行的题目和设置。

编辑评读

较强的独立线索是 AA 自己发布的分项结果,而不是多家媒体引用同一张厂商图。不过,Full 的 Coding Agents Index 在 Muse Code 内测量,已把执行器的工具和上下文方式算进结果。拿它与另一家 API 的裸模型分数比较,会把产品流程差异混进模型差异。

Quantslant 的 23 项任务只各跑一次,统一低推理强度,各模型又接近满分。它适合作为上线能否使用、具体输入会不会失败的探路结果,不能据小数点后的差距宣布谁普遍领先。AA 的 max 条件也不能代替这个低预算场景。两组结果并不必然矛盾。

如果最关心长期编程,就用同一批仓库任务和验收规则,逐项标明模型、推理强度、执行器及费用。记忆能否找对约束、需求改变后能否放弃旧路线、重要操作的确认是否有效,都需要过程证据。新模型值得试,但“持续专注”这个产品描述本身还不是完成率。

依据 1 · 依据 2 · 依据 3

值得读Agent 系统 / 系统与效率 / 评测与基准
追踪记录 ↗

Anthropic:小模型能搭起推理,完整自主复制仍有缺口

技术Distributed InferenceAgent RecoverySandbox Evaluation
可信度
65
重要性
83
新颖度
79

研究重点是模型在陌生硬件上建立推理服务,以及在隔离节点中接续复制链条。15 台电视盒运行分布式模型的演示与网络复制评测是不同实验;后者开放无认证 ADB,较大模型的推理还在外部服务上。GLM-5.2 可在这一简化设置传播 Llama3.1-8B,不等于小模型已在现实设备自主传播。作者关于年底能力的判断是预测。

作者将复制拆为发现目标、获得执行并送入载荷、建立推理、继续复制。虚线区域标明攻击步骤不是本文重点;这一分解不能当作现实网络复制已经成功的证据。William Zhou、Daniel Freeman / Anthropic,原文阶段图;用于解释实验边界的单幅必要引用。 · 原文方法图 · 图片出处 ↗

dvt · 原帖 / 原文

语境:针对同一官方博客的技术批评;本条保留其环境边界异议,未引入作者其他泛化立场。 · 读取时间:2026-10-13

逐句忠实转述(非原文)

他质疑把在未设防、开放执行通道上的命令运行称作自主复制突破,认为应明确模型已经获准做哪些步骤。这个评价是对实验设置的分析,不是独立重跑。

编辑评读

这份材料最有价值的工程细节,是把“模型装得起来”与“整条链能接续”分开。跨硬件的安装和故障排查可以成为能力门槛;拿到执行权的难度、复制后靠什么资源运行、断点如何恢复,仍是别的问题。实验中人为简化的步骤必须保留,否则标题会让读者以为已经观察到现实网络感染。

HN 的 dvt 质疑开放端口和指令执行足以解释演示。这个批评准确提醒了实验范围,但也不能抹掉跨环境建立推理服务需要连续排错的事实。与其争论模型是否“有意图”,更有用的是检查:未简化的访问边界、算力与时间预算是否足以让同一链条完成。

Memento 会定期换一个新实例,继承工作目录和短笔记,以减少困在错误想法里的循环。它是值得注意的恢复设计,却还不能从这一个场景推成所有长任务的最佳方案。应在同等总预算下比较换实例与保留上下文,同时记录成功与丢失关键信息的情况。

依据 1 · 依据 2

值得读Agent 系统 / 系统与效率 / 评测与基准
追踪记录 ↗

MetaKernelBench:存下来的经验,也可能让下次优化退步

技术Skill TransferGPU Kernel OptimizationCuTe DSLTIRx
可信度
65
重要性
68
新颖度
74

作者固定74个问题、B200硬件和单次40分钟预算,把CuTe DSL尝试写成自然语言skill,再交给同一模型从头做TIRx版本,反向亦然。六模型的配对收益范围为−19%至+29%;每个方向仍有16%–45%的问题退步。转移的是经验文字,未给原实现;这里测试同问题跨DSL迁移,未测新问题或新硬件。

作者图1:同一个问题分别做CuTe DSL与TIRx独立尝试,只把自然语言skill交给另一个DSL的新尝试,再与该目标的独立基线比较。图表示试验协议,不是独立复现;源尝试还有额外预算。图中的2.33×、3.43×是协议示例,不是六模型总体结果。Xueyi Chen 等,MetaKernelBench v1 图1;用于说明协议的单幅必要引用。 · 原文方法图 · 图片出处 ↗

编辑评读

这项设置把写出的代码与留下的经验分开评价。源尝试通过不代表它的建议更适合目标:目标原本已能做到的程度也影响增益。匹配目标尝试的预算,并没有抹掉生产源skill的那次额外实验成本,所以不宜把配对收益直接换算成整体省算力。

依据 1

VOICES & EXPERIENCE

观点与经验

02
值得读Agent 系统 / AI 编程 / 评测与基准
追踪记录 ↗

Huahai 回应 Rich Hickey:使用 AI 时,人是否还在作判断?

技术Human-in-the-loopFeedback LoopsSkill Transfer
可信度
65
重要性
61
新颖度
65

Rich Hickey 用“能够持续操控并得到反馈”界定工具,认为把写作和阅读交给 LLM 会错过练习。Huahai 认同外包可能减少学习,却反对据此把所有 LLM 使用排除为工具:人可以读原文、追问解释、查源、运行测试,再拒绝错误建议。两人争论的边界是控制、反馈与使用方式;这不是一项测量学习或效率的实验。

Rich Hickey · 原帖 / 原文

语境:LinkedIn公开正文;10月12日页面标记。Huahai将其称为11日文章,日期分歧留在审核;本文不猜精确发布时间。 · 读取时间:2026-10-13

中文译文 · 点击句子切换原文

逐句忠实转述(非原文)

他重视操控时的意图、持续动作与感官反馈,担心让系统代读文章会失去学习论证、形成新想法和辨别作者的过程。

Huahai · 原帖 / 原文

语境:已读10月12日公开回应;保留不同使用方式的反例,非全文翻译。 · 读取时间:2026-10-13

中文译文 · 点击句子切换原文

逐句忠实转述(非原文)

他区分放弃阅读与读过文章后借助 LLM 质疑自己的理解。可预测性和可靠性是评价工具的质量,而非判定它是不是工具的先决条件。

编辑评读

Hickey 对失去练习的提醒值得保留,但从一种委托用法推到全部用法,范围太大。Huahai 的反例针对的是这种泛化:辅助查问可以与自己读论文同时发生。它说明“使用 AI”不是足够具体的处理组,还要记录人到底做了哪些判断。

另一方面,存在反馈循环并不自动说明它有效。如果人每次只看流畅程度就接受解释,形式上有追问,实际上仍缺乏纠错信号。这里更值得实测的差别,是人在接受答案前是否先作自己的预测,出错后是否得到可检查的反馈,以及隔一段时间还能否独立识别同类问题。

所以我不会靠把它叫工具或自动化来决定工作安排。对需要留下判断能力的学习活动,要检查迁移与接手;对可以可靠验收的重复工作,可以优先看交付和负担。不同目标需要不同的比较,这也使这场争论比“支持或反对 AI”更具体。

依据 1 · 依据 2

值得读评测与基准 / 检索与知识
追踪记录 ↗

HANS_DEV 的客服检索经验:先确认知识库该管什么

技术Domain FilteringHybrid SearchReranking
可信度
65
重要性
58
新颖度
54

回应“苹果手机问题召回红富士”的面试帖,HANS_DEV 先追问客服服务的是哪种业务。他说自己做客服检索时,先把知识库收窄到应管的品类,再讨论排序。这是一个具体使用经验,对“只升级Embedding就能解决误召回”提出范围约束;本帖没有给出数据集或效果测量。

X 观点 HANS_DEV · 原帖 / 原文

语境:固定程序保存的公开回复;已核对真实父帖。标签表示讨论机制,不表示作者公开了对应实现。 · 读取时间:2026-10-13

回应原帖:Kimberly(@king1818888)

逐句忠实转述(非原文)

他先问客服是不是卖手机:如果是,红富士资料本来就不该在它负责的知识范围里。自己做客服检索时,他先按业务品类切库,再处理排序。

编辑评读

父帖强调混合检索与重排,这条回复提醒我们先检查业务范围。两者可以同时有用:如果客服确实跨多个品类,不能直接把“水果”全部排除;若它只服务手机业务,允许无关品类进入候选又是在给排序器增加负担。应在既定业务范围里放同名实体、型号和跨品类问题,分别测过滤造成的漏召回与排序误召回。这个对照是编辑建议,作者没有报告完成它。

依据 1 · 依据 2

LEARN BY DOING

技能学习

每天 1–2 份实践材料

博客 · 项目实践 · Amanda Martin / Lat Ware · Vapi

为代码审查写一个能失败的评测

技术Code ReviewExecutable VerificationFalse Positives

文章把已知阻断缺陷、误报代价与评论权限写到同一实践中,适合已有PR审查流程的工程师。

能运行项目测试、理解PR与CI;无需搭建多Agent系统。 · 先读20分钟,再用45–60分钟整理一个自有测试改动。

动手试试:编辑建议:在离线测试分支放一个已知可复现缺陷,与几个无害改动组成小集合;记录审查能否找到阻断缺陷、误报要人处理多久,不把运行次数当成不同任务。

CONNECT THE DOTS

把几件事放在一起看

编辑观察
追踪记录 ↗01

生成、审查和交付,需要三种不同的记录

代码行数增加三成,公司完成的事项却没有显著增加;与此同时,Vapi 说自己的审查机器人把平均合并时间减了一半。[1][2] 这两份材料不能互相投票:前者比较多家企业的采用时点,后者是一家团队的前后自报,版本、团队和工作都不同。它们共同提出的具体问题是,生成出来的工作怎样才能流过审查,成为可用的交付。

先区分两种审查负担。一个是队列:PR 来得快,负责审阅的人却没增加,等待就会拉长。另一个是每份改动的判断难度:需求是否满足、已有约束是否破坏、测试究竟测了什么。论文中的提交到合并时长兼有两者,不能只凭它判断人更慢或代码更差。企业事项完成数也不包括所有个人新项目,HN 的 KumaBear 正是在提醒这个边界。[3]

Vapi 的已知 lint 阻断缺陷提供了一个细小却有力的反例:发现不少问题的审查运行,仍可能漏掉唯一挡住合并的问题。[2] 因而增加发现总数并不保证能减轻队列。误报与原有问题也需要处理;如果每个问题都交给人从头辨认,机器把发现变多,人接手的工作反而可能更碎。把发现附上可运行的复现,可能减少判断成本,这只是有依据的工程假设,尚不能由合并时间的变化单独证实。

此前观察把操作时间、注意力和新增产出分开;这次再把“等待”和“动手检查”分开。对照一批同等规模的改动,分别记录提交后等了多久、人实际检查多久、多少发现被接受或驳回、最终交付是否返工。固定最终质量要求,再看这些时间是否一起下降。否则减少审查时长可能只是放宽把关,增加审查时长也可能是发现了过去漏掉的缺陷。

SWE-TaskFlow 又提醒我们,负担可以向上游转移。[4] 若一个 Agent 只在一次写清全部需求时便宜,人预先整理需求的时间就藏在分母外。反过来,分步对话更像某些人的工作方式,却可能多花模型费用。评测应保留最终测试,再报告中间解释和需求变化后的纠正情况,而非让一个通过率承担所有问题。

下一步最值得试的不是给审阅者生成更长总结,而是让每个重要发现携带它触及的要求、证据位置和最小复现。随机给相近改动使用有无这套交接材料的审查流程,比较阻断缺陷召回、误报处置时间和最终返工;失败改动也计入耗时。如果材料只让人多读一页而没有提高判断,就应放弃这种设计。这样才能检验自动化节省了哪一步,而不是把“代码写完”提前算成“工作交付”。

队列变化可能来自管理制度、PR组成或采用初期磨合;个人新增产出与企业事项统计不同。Vapi前后结果不能作为随机因果反证。

固定验收质量,比较排队、人力操作、误报分流和最终返工;寻找确实减少审查负担的独立对照。

相关条目:代码多了三成,交付为何没有同比增加? / Vapi:让审查机器人证明问题,也把误报算进成本 / SWE-TaskFlow:同一个补丁,换成交互流程就可能更贵

来源 1 · 来源 2 · 来源 3 · 来源 4

追踪记录 ↗02

少读上下文之后,能不能把需要的信息找回来?

Context Mode 的仓库把一组工具输出压到很小,当前网站又给出成对任务费用估算。[1][2] 前一个数字测量进入上下文的字节,后一个把一段任务中的模型调用计入费用。两者都可能有用,却不能互相替代。过去关注“省下的调用费会不会花在别处”,今天首先要修正一个容易延续的怀疑:不能在已读到新测量后,仍说项目只测过压缩比例。

新测量也留下具体条件。当前网关把输出处理、缓存和其他机制一起打开,并包含短回答风格;同一脚本任务反复运行,支持这个任务上的采样估计,不支持任意任务分布。文档又只展示区间完整落在省钱方向的结果。[2] 我因此把它当作值得继续检查的正面证据,而不会把节省区间写成所有用户都能达到的保证。仓库插件、商业网关和不同客户端仍要分开。

3月的外部分析追问检索往返成本,当前候选 PR 则给出一个更可操作的失败:某类非 ASCII 词边界让应有的记忆没有被召回。[3][4] 前者是方法批评,后者是作者报告的基准对照,两者都不是编辑独立复现。没有找到与找到错误信息会造成不同后果,评测不该只把它们记为一句“搜索失败”。

这使我更关注压缩的单位。对于问日志有多少错误,先写程序统计可能保留全部所需信息;对于判断一个约束是否违反,先给标题和计数可能省掉真正关键的条件。保存在外部不等于已进入模型的判断,也不等于它会想到正确检索词。应让任务预先指定需要找到的证据,记录回读次数、首次命中、误取旧约束以及最后是否完成。

SWE-TaskFlow 在同一组目标与最终测试下改变信息逐步出现的方式,费用就变了。[5] Meta 的新模型则强调跨会话记忆与持续执行。[6] 这些材料没有共同验证一种压缩方案,但让比较目标更清楚:既要看信息怎么存,也要看何时取出、任务改向后能否换掉旧判断。存储更省与使用更可靠应分别测量。

可以从几十个有明确证据位置的长任务开始,比较全文、摘要后按需检索、以及稳定前缀加按需检索三种方式。保持模型、最终测试和总预算一致,计入索引、追问与失败运行;另放一组有同名实体、旧版本约束和多语言术语的任务。若摘要方式只在简单统计题上省钱,就把适用范围收回到统计题。这样的负结果也能帮助我们决定哪些信息不应提前压掉。

短而独立的统计任务可能天然适合输出处理;持续要求完整证据的任务则可能回读很多。不同模型自己筛选数据的能力也会改变收益。

核对公开成对费用数据的完整任务清单与选择规则,并找独立复测;重点检查多语言检索与失败费用。

相关条目:Context Mode:压缩比例、任务费用与检索遗漏要分开看 / SWE-TaskFlow:同一个补丁,换成交互流程就可能更贵 / Muse Wonder:模型进步,要连同推理强度和执行器一起比较

来源 1 · 来源 2 · 来源 3 · 来源 4 · 来源 5 · 来源 6