AI生成的纸艺剧场插画:拉开的酒红帷幕露出树木、山丘与城堡,象征为创作留下空间;不是技术结果图。

DAILY AI INTELLIGENCE

最新日报 历史日历 ↗

2026-10-29 · AI 日报

模型进步之后,哪些旧规则可以放下?

8 条精选1 份学习材料资料截至 2026-10-29 08:02(北京时间)

EDITOR’S NOTE

本期导读

模型能力进步以后,旧经验未必自动变成优势。LangChain 的设计 Agent 曾依靠大量预制组件获得稳定输出;新模型更会设计后,团队发现这些限制使作品趋同,开始删掉补偿旧能力的规则,同时保留品牌原则、检查和制作顺序。本期观察由这个具体变化出发:我们需要定期检查一条规则究竟在保护目标,还是只在维持过去的做法。

这不是简单主张少写指令。Simon Willison 的小游戏表明,能迅速生成可运行成品,仍需通过试玩判断它是否有趣、流程是否通畅;Charles Miller 与评论者的分歧则帮助区分短期技巧和持续试探工具边界的能力。读完这三条,可以更具体地考虑升级模型时应该重新测试什么,而不必在“全部推倒”和“照旧累加”之间选择。

另几项能力进展把目光移到输入和输出:H-Net 尝试让模型学习字节如何组成更大单元,Nemotron 转写明确区分逐字与书面目标,MiniCPM-OCR 为识别结果增加独立判别环节。它们分别改变了计算、监督和复核的安排,不能仅凭一个总分判断是否适合自己的任务。

评测部分也保留了两种尺度:DAYJOB Tax 检查复杂文件工作能否完整交付,AA v5 则展示综合榜单如何随着题目和权重变化重排。前者提醒人发现未被点明的条件,后者提醒人先读清测量对象,再决定一个名次与自己的工作有多大关系。

组合筛选

METHODS & SYSTEMS

技术进展

05
值得读Agent 系统 / AI 编程 / 多模态
追踪记录 ↗

LangChain 的设计 Agent:删去固定模板,保留设计原则与制作流程

技术persistent sandboxstaged rendering
可信度
65
重要性
85
新颖度
85

设计工具很容易陷入两难:预制组件越齐全,交付越稳定,作品也越容易长得一样。LangChain 复盘内部 Content Studio 时,提到早期曾准备 115 个界面组件;模型升级后,这套帮助旧模型完成任务的安排反而限制了变化。团队于是删去大部分硬编码设计规则,留下品牌与设计原则,让模型直接作更多视觉选择。这是团队的使用观察,并非单独控制模板数量的实验。

支撑这种自由的是一个能持续修改的项目。每个 Slack 讨论线程对应独立沙箱,代码、图片和视频素材留在项目目录里,后续要求可以接着做。主 Agent 处理方向与沟通,异步子 Agent 分担有明确文件归属的制作工作;团队知识、技能说明和记忆提供背景。仓库中的检查仍负责颜色、字体、图表计算等可明确判断的要求,审美取舍则交给模型与使用者。

视频制作还有一道实际的成本约束:先看故事板,再做低成本动态草稿,最后进入昂贵渲染。模型可以探索表达方式,却不能跳过这些阶段直接反复输出成片。团队称四个月生成了三千多份素材和八十多套幻灯片,公开了实现仓库;模型、服务和工作流同期都在变化,成本下降不能全归因于删规则。

每个讨论线程保留项目和沙箱,主 Agent 可在异步制作期间继续接收方向调整。图中的代码量下降是团队迁移后的自报,不能归因于单一改动。LangChain 原文架构图;为评述系统结构保留整图及署名,未发现单独图片许可。 · 原文图示 · 图片出处 ↗

编辑评读

这里应当重新考虑的是规则的用途。品牌色必须一致,是作品本身的要求;“只能从这批组件拼装”,可能只是旧模型能力不足时的补救。两者都写在提示或技能里,长期维护时却不能一视同仁。若把暂时的补救当成永久规范,新模型更擅长的做法就可能没有机会出现。

这套系统也说明,自由度与制作顺序可以分别安排。故事板便宜,适合比较构思;成片昂贵,适合落实已选方向。把早期试错留在低成本阶段,能让人更愿意尝试多种表达,而不是因为每次修改都要重做成片而过早定稿。它比单纯要求模型“多创新”更具体。

目前证据来自同一团队的复盘与公开实现,没有独立设计盲评。值得借鉴的是分类和比较方法:升级模型时,挑出几条曾用于补救能力的限制,对同一批任务分别保留和撤除,检查质量、返工与多样性,再决定是否删除。涉及品牌事实、授权素材和不可逆操作的要求,不能仅因模型变强就推定失效;这一比较是建议,尚未由本刊执行。

依据 1 · 依据 2

值得读系统与效率 / 基础模型
追踪记录 ↗

Scaling Hierarchical Networks:让模型学习怎样把字节合成更大的单元

技术H-Netbyte-level modeling
可信度
65
重要性
92
新颖度
85

多数语言模型先用固定分词器把文字变成 token,再把它们交给神经网络。常见的 BPE 会把经常相邻的字节合并成词表单元;切法预先确定,遇到陌生语言、代码或特殊格式时未必合适。Cartesia 的 H-Net 从字节出发,让网络在训练中决定分组边界。轻量外层编码细节,主网络处理压缩后的序列,随后还原到字节位置并生成输出;同样结构还能嵌套,形成更深的层级。

这次长文的重要补充是比较条件。单层实验尽量匹配内外层结构、计算量、参数与压缩率,并在同一训练语料上重新训练 BPE。团队报告,在留出验证数据上,达到相同的每字节预测损失所需训练计算约少 22%;更大的优势出现在部分分布外数据。每字节损失衡量预测文本的能力,不等于任务答对率,也不直接代表实际机器上的训练速度。

两层实验进一步与 SmolLM3 比较,在每字节计算相近时,用约一万亿 token 等量数据达到后者约十一万亿训练规模的六项任务平均成绩。不过两者参数量并不完全相等,训练阶段和后期数据混合也不同,不能把十倍左右的差距全部归于分词。文章给出了更有力的扩展线索;新版结构的完整发布与他人重建,仍是下一步要看的证据。

编辑评读

值得改变的直觉是:输入单位不一定要在训练前固定。固定词表把压缩决策交给预处理,H-Net 则让这一决策与预测目标共同学习。当数据形式变化很大时,模型有机会把计算集中在更合适的语义尺度上;代价是增加了学习边界、压缩和恢复位置的结构复杂性。

单层严格对照与两层规模实验回答不同问题。前者较接近“在这些配平条件下,学习分组是否有益”,后者展示的是一整套架构和训练方案能走到哪里。将二者分开,既能看到能力机会,也避免把规模图上的差距误读成单一机制已经被完全隔离。

对工程团队而言,最有迁移价值的追问是自己的数据在哪些地方被固定切法拖累,例如混合语言、少见代码语法或长串格式符号。应先观察这些子集,而非仅看总体平均分。当前材料尚不足以判断服务延迟、批处理效率和后端实现成本;训练计算收益只有接到实际系统测量,才会成为部署收益。

依据 1

值得读系统与效率 / 多模态
追踪记录 ↗

Nemotron 3.5 Transcribe:转写准确之前,先说清要写成什么样

技术ASRMoE
可信度
65
重要性
85
新颖度
85

一段录音可以有几种都合理的文字版本:保留口头语和逐字读法,把数字写成规范形式,或者整理成去掉停顿与重复的书面语。训练和评估若混用这些目标,模型即使听懂了,也可能被算错。NVIDIA 发布的 Nemotron 3.5 Transcribe 与 Granary v2 数据流水线,把这些输出形式明确分开,支持通过指令选择转写方式。

模型总参数约 300 亿、每次激活约 40 亿,结合状态空间层、Transformer 与专家混合结构。发布说明覆盖 40 种语言转写、31 种语言翻译,并对其中 13 种提供带说话人标记的输出。它面向已有录音,不是实时流式听写模型。Granary 则把音频分段、识别、幻觉检查及不同文字目标的生成串起来;公开清单约 46.3 万小时、48 种语言,不能与流水线处理过的全部音频时长混为一谈。

配套医疗转写案例显示,术语和目标拼写可以一起适配。团队用合成语音等材料微调,在与调参说话人分开的 2764 条留出样本上,将词错误率从 22.44% 降至 12.17%;通用 LibriSpeech 指标则由 1.54% 变为 1.69%,并非处处改善。包含调参样本的另一张全量结果表不能当作独立留出成绩。本期核对了原文口径,没有复现训练,也不把未来量化版本的吞吐预告当成当前可用表现。

mewse-hn · 原帖 / 原文

语境:在 Nemotron 3.5 Transcribe 发布帖中描述与 Parakeet 的比较;自报使用四比特量化,未附完整数据。 · 读取时间:2026-10-29

逐句忠实转述(非原文)

他正在测试转写,感到新模型更慢、更重、错误率更高;仍准备检查内置翻译是否值得。他主动补充,四比特量化可能影响准确率,所以这段经验只能对应其当前配置,不能直接代表全精度模型。

编辑评读

这个发布可迁移的部分,是先定义“忠实”究竟指什么。病历需要规范术语,访谈研究可能必须保留犹豫和自我修正,字幕又有可读性要求。把它们都叫准确转写,会把产品选择藏进指标。应让目标样式、训练标签与评分规则一致,再比较模型。

医疗案例中,合成数据的价值也不只是增加小时数:它让少见术语和指定书写形式更频繁出现。但若调参者与测试说话人重叠,改善会更难解释。原文另列说话人隔离结果,正是必须保留的比较边界;通用集略退步也提示专门化需要衡量取舍。

早期用户报告与发布榜单并不完全一致。有人用四比特量化版本测试后,认为更慢、更重且错误更多,同时明确量化可能影响准确度。它不能推翻全精度报告,却提出实际选型必须回答的问题:在自己的语言、设备、输出样式与量化条件下,新增翻译或说话人能力是否抵得上资源成本。建议从同一批录音的错误类型和整段耗时开始比较,而不是只转抄总榜名次。

依据 1 · 依据 2 · 依据 3

值得读评测与基准 / 多模态
追踪记录 ↗

MiniCPM-OCR 把“读出文字”和“判断读得对不对”拆开

技术OCRverifier
可信度
65
重要性
85
新颖度
85

扫描文件里的困难不只有字符模糊,还包括多栏阅读顺序、公式和表格结构。MiniCPM-OCR 系列把处理分成两个角色:约 13 亿参数的解析模型负责读,约 20 亿参数的 Jev 判别模型负责判断候选结果是否与图像一致。公开权重与实现让使用者能够分别选择解析和复核路径,而不必把所有工作塞进一次大模型回答。

解析流程先用版面检测切出区域,再逐块识别,最后按顺序拼成 Markdown。Jev 则同时查看区域图、候选文本以及候选重新渲染出的图像,输出一个分数。它可以帮助挑选候选或把可疑区域送给人工,但如果所有候选都错了,判别器不会凭空补出正确答案。模型卡报告 AUROC 为 93.6;这是区分正误样本的排序指标,不能写成“93.6% 的文件保证正确”。

团队在 RTX 5090、指定加速配置下报告约每秒 1.2 页,测量覆盖 OmniDocBench v1.6 的 1651 张图,页面并发为一但区域内部可以并行,不能外推为普通手机速度。实际问题也出现在模型之外:一位用户报告,开启图片区域 OCR 后,工程图文字已经识别出来,却在 Markdown 拼装时被空图片链接替代。维护者承认该路径需要修复;本轮未核实修复已经合入,因此保留问题发生的条件。

同一区域的两种识别候选及 Jev 分数;红绿示例涉及字符、公式和表格。示例高低分不等于任意文档的校准正确概率。OpenBMB / MiniCPM-OCR 仓库原图,项目采用 Apache-2.0 许可。 · 原文图示 · 图片出处 ↗

JSJ189 · 原帖 / 原文

语境:针对提交 50b74eba 的工程图处理;开启图片区域 OCR,描述识别与最终拼装的差别。 · 读取时间:2026-10-29

逐句忠实转述(非原文)

他报告中间识别能读出工程图中文字,最终 Markdown 却只留下空图片链接;自定义图片格式也没有按预期插入文字。他希望在保留原图时一并交付已识别内容。这是具体流水线问题报告,不是模型完全无法识别工程图。

caowanxia123 · 原帖 / 原文

语境:维护者在同一问题下回应用户;与项目作者同源。 · 读取时间:2026-10-29

逐句忠实转述(非原文)

维护者确认需要修复该路径并表示会处理。本轮读到的问题关联了后续修改入口,但没有核实修复已经合入或验证成功,因此不把回应写成问题已解决。

编辑评读

判别模型的意义,是把人工注意力从整页平均分配,转向具体可疑区域。这样的流程是否省事,取决于分数阈值下有多少错误被放过,以及多少正确结果被送去复查。AUROC 只能帮助了解排序能力,真正的业务判断还需要接受结果的错误率与人工工作量。

工程图反馈进一步说明,端到端质量不能只盯识别模型。用户已经取得正确的中间文字,最终文件仍可能丢失它;换更强模型未必解决拼装阶段的缺陷。测试时应保存区域、识别候选和最终文档之间的对应关系,才能区分“没读懂”与“读懂后没交付”。

这里也有一个可复用的设计机会:生成器与判别器可以各自升级,并允许不同解析器提供候选。不过独立组件不自动意味着独立错误;相似训练资料、渲染方式和版面困难仍可能让它们一起失败。比较方案时,应加入候选全错、表格错位和公式符号替换等样本。这是从公开机制推导的验证建议,本刊没有运行这些测试。

依据 1 · 依据 2 · 依据 3

值得读Agent 系统 / 评测与基准
追踪记录 ↗

DAYJOB Tax:文件给齐了,模型仍可能漏掉没有被点明的问题

技术agent evaluationprofessional tasks
可信度
65
重要性
90
新颖度
85

专业工作通常不会把所有关键条件写进提问。客户给来邮件、表格和历史文件,工作者还要发现哪里互相矛盾、哪种选择会触发额外条件,再交付能使用的结果。DAYJOB Tax 用 50 个税务工作环境模拟这种情况,合计 1789 份文件,单项任务中位数为 30 份,最大达到 123 份;材料由专家构造并分层审阅,不是真实客户资料的直接公开。

评分关注完整任务是否达标。以满足至少 95% 的评分项为通过线,发布页报告 Sonnet 5.5 单次通过率 10.8%、Fable 5.1 为 9.6%、Opus 5.5 为 9.2%。这些数值不能说成“模型只懂一成税法”,也不能在没有误差分析时据此宣布几种模型优劣已经分明:少量关键遗漏就可能让整项任务不过线。

原文举例,模型比较客户给出的两个出售时间,算出了两者的结果,却漏掉另一个决定资格的未来期限;另一个例子中,不同模型又对婚姻状态作出不同程度的未经确认假设。难点是从材料中找出尚未被问到、却会改变建议的问题。评论区既有用户说模型帮忙发现人工申报错误,也有人追问测试使用了什么工具和工作流。这些经验支持辅助复核的价值,但不是该基准的复现,更不构成个人税务建议。

waiwai933 · 原帖 / 原文

语境:在 DAYJOB 讨论中谈自己作为海外美国公民核对申报草稿的经验;不是参加基准的用户。 · 读取时间:2026-10-29

逐句忠实转述(非原文)

他把自己准备的草稿和支持材料交给 Claude,既发现过汇率错误,也遇到模型因缺少背景提出误报、对模糊规则给出另一种解释,以及迟迟算不准估算税额。他认为它适合辅助检查,不适合丢入所有文件后期待无需核对的成品;此处是个人经验,不提供税务结论。

licyeus · 原帖 / 原文

语境:针对该基准的工具与系统指令披露提出疑问。 · 读取时间:2026-10-29

逐句忠实转述(非原文)

他没有很快找到完整工具和指令设置,并提出专用工作流可能先整理要求再逐项核对。他问,这究竟是在测专业系统,还是模型自行组织工作并在上下文里跟踪要求的能力;这一建议尚不是已完成的改进实验。

编辑评读

这个基准使“能算”与“知道该算什么”之间的距离更具体。即使公式调用完全正确,若遗漏资格、时间或身份前提,最终建议仍然可能不合用。对类似的合同、运营或文档工作,值得迁移的不是税务规则本身,而是先从原始材料提取会改变方案的条件,再检查条件之间是否冲突。

低通过率也需要结合任务设计读。严格整项阈值适合提醒人注意交付缺口,却隐藏了错误的大小与修复难度。遗漏一项关键信息和多数计算都错,可能同样算失败;实际辅助流程的价值还要看人需要花多少时间核对与补救。用户自述模型发现错误,和无人介入整项通过率低,可以同时成立。

关于专用工作流的质疑值得留下。若先列条件、检索当前规则、使用确定性计算器再复核,表现可能改变;但这只是待测假设,不能据此抹掉已有结果,也不能说作者已经测过最佳专业系统。下一轮有价值的比较应公开工具、系统指令与人工介入范围,在同一任务上比较最终质量和修复成本。

依据 1

VOICES & EXPERIENCE

观点与经验

03
值得读评测与基准 / 基础模型
追踪记录 ↗

AA v5 更换了考题,也让“总分代表什么”重新成为问题

技术composite benchmarkevaluation cost
可信度
65
重要性
88
新颖度
85

Artificial Analysis 的 v5 智能指数把知识工作、编程、科学和通用能力各设为四分之一权重,并引入更难的任务;约六成测试内容不公开。榜单变化因此既包含模型差别,也包含测量目标的改变。Lambert 借这次更新讨论评测者的困境:公开题目容易被针对性优化,保密又减少了外部发现错误与理解评分的机会。

他没有把开源模型排名下滑等同于开源路线失败。前沿科学任务与日常应用需求不同;低成本推理、拥有权重和可自行部署仍有价值。他认可商业评测追踪前沿的速度,同时关心资金、信任与透明度,倾向让不同类型机构提供互补评价。这些是他的分析与判断,不能写成已经证实榜单操纵。

时间也需要校正:v5 初始说明中的领先者已不是最后信息。Google 在 10 月 28 日公布 Gemini 4 Carbon,报告 AA v5 得分 59,并说明先向部分网络防御伙伴开放,公众产品接入尚待后续。这里用它说明榜单会快速变化,不把一个排名视为普遍可用性。AA 自身还报告评测生成 token 中位数由约 3.5 万增至 5.9 万;更高能力的比较同时带来更高运行成本。

hobofan · 原帖 / 原文

语境:回应 AA v5 新任务组成,关注测试覆盖面。 · 读取时间:2026-10-29

逐句忠实转述(非原文)

他认为编程与科学等受关注领域的题量仍然有限,这可能解释榜单与实际使用感受的差异。他同时承认运行完整评测很昂贵、题目还需轮换;这是对覆盖面的质疑,不是证明某个模型排名错误。

编辑评读

综合分数的便利在于帮助人缩小选择范围,危险则是把权重设计隐藏成自然事实。若工作主要是便宜地处理大量普通请求,科学难题上的差距未必决定选择;若要连续完成长任务,过去的短问答领先也可能失去解释力。因此读新榜时,应先问自己的失败是否被新增任务覆盖。

公开和保密之间没有一次性解决方案。保密可以减轻直接针对题库训练,却仍需要公开任务构成、运行预算、工具和评分方式,让外部知道比较的对象。评论中有人把不同模型的运行外壳差异误套到 AA,随后在原帖更正;这提醒我们,针对评测的批评也要追到实际方法,不能把合理疑问升级成未经证明的动机判断。

可操作的用法是把总榜当入口,再看对应子项、成本和自己的少量代表任务。代表任务应包括真实的失败类型,而不只挑容易展示优势的例子。它不会得到一个永远有效的最佳模型,却能让换榜、换模型和换工作需求时,知道究竟是哪项前提变了。

依据 1 · 依据 2 · 依据 3

值得读Agent 系统 / AI 编程 / 具身智能 / 基础模型 / 多模态
追踪记录 ↗

Simon Willison 做了四个小游戏,评论者追问的却是“好玩吗”

技术game designplaytesting
可信度
65
重要性
84
新颖度
85

Simon Willison 用近期模型做了四个浏览器小游戏,感到从想法到能运行作品的门槛明显下降。其中 Tree Appreciator 让玩家转动两棵树寻找细微差别,展示了代码、场景和交互可以一次连起来;另一个游戏 Emberwick 则需要实际试玩,才发现任务人物的位置变化会让流程卡住。可运行与可顺利完成,已经是两项不同要求。

他并未说自己完全没有投入:单个项目的人类工作不超过数小时,但南瓜游戏消耗了大量 token、持续迭代两天,仍未让他觉得好玩。他也承认 AI 素材存在争议,不打算拿这些作品参加传统游戏创作活动。文章更像一次能力边界探索,而不是证明新模型在游戏设计上已稳定胜过人类。

原文评论形成了有价值的分歧。自称有三十年游戏开发经验的 Markus 说自己试过 Opus 和 Battle Drones,认为作品并不好玩,并担心这种叙述伤害正承受压力的行业;Raghav Mehta 则追问,实际进步发生在机制、难度与奖励安排,还是主要在画面润色。它们没有否认生成速度,而是要求把“有成品”与玩家愿意持续玩的原因分开。

Tree Appreciator 的原文界面:玩家旋转两棵树寻找差异。截图说明交互形式,不证明它对所有玩家都好玩。Simon Willison 原文游戏截图;为介绍与评论作品保留署名,未发现单独图片许可。 · 原文图示 · 图片出处 ↗

Markus · 原帖 / 原文

语境:原文评论者自称有三十年 OOTP 开发经验,并称自己试用过 Opus 与 Battle Drones;身份和体验未独立核验。 · 读取时间:2026-10-29

逐句忠实转述(非原文)

他不认同作者对进展的兴奋,觉得这些游戏不好玩,并用很强烈的措辞批评生成内容的质量。他担心把容易做出成品说成游戏开发突破,会加剧从业者承受的压力。这是实际试玩后的个人评价,也包含行业立场,不能被改写成客观测试结论。

Raghav Mehta · 原帖 / 原文

语境:在同一评论页追问模型究竟改善了游戏的哪个部分。 · 读取时间:2026-10-29

逐句忠实转述(非原文)

他希望进一步区分机制、难度和奖励安排与表面润色,也关心新修改会不会使已有功能退步。这个问题把讨论从生成速度拉回迭代质量;评论本身没有提供新的实验结果。

编辑评读

这些小游戏显示了一个新的创作机会:原先不值得专门组队实现的小想法,现在能迅速变成可试玩对象。Tree Appreciator 的意义并不需要以商业成功来证明;让更多个人能试出一种交互,本身就扩大了探索空间。但作者觉得惊喜,不能自动替代玩家觉得有趣。

游戏评论也给一般软件评估提供了更具体的参照。实现了按钮、地图和奖励,只说明功能存在;它们以什么节奏出现、是否形成有意义的选择,才决定体验。相比让模型继续添加内容,先观察试玩者在哪里失去兴趣,可能更能告诉下一轮修改该往哪里走。

作者的投入与反对者的经历都应原样保留其范围:前者是少量探索项目,后者是个人试玩与行业判断,没有形成控制实验。本期未自行试玩,因此不会给出好玩程度评分。值得跟进的是创作者能否用外部反馈稳定改善机制,以及修改一个环节时是否破坏已有流程;更漂亮的截图回答不了这两个问题。

依据 1

值得读Agent 系统 / AI 编程
追踪记录 ↗

“AI 技巧会过期”,不等于不必练习使用工具

技术tool learningworkflow adaptation
可信度
65
重要性
80
新颖度
72

Charles Miller 用早年 C++ 的微优化习惯作比:一些程序员曾把特定写法当成必修技巧,编译器进步后,记住这些细节的价值却大幅减少。他认为,今天不少号称必须立刻掌握的 AI 技巧也在经历类似过程——模型与产品迅速补上缺陷,几周能学会的操作可能几个月后就不再重要。

他的矛头主要指向“现在不学就永远落后”的焦虑叙事,并没有劝人停止学习工作中当下需要的工具。区别在于,解决眼前问题的临时办法可以有用,却未必值得包装成长期竞争优势。标题中的 skills 指使用技巧,也不应被误读为所有 Agent 技能文件都没有价值。

评论者 joshstrange 赞同不必追逐每个新词,却不同意把有效使用模型看得太容易。他说自己持续测试模型原先做不好的事,在公司也看到使用熟练度差别;受到追问后,他明确这是亲身观察。两者的分歧落在学习什么:背住某一代模型的窍门,还是积累判断何时尝试、如何描述问题、怎样检查结果的经验。

joshstrange · 原帖 / 原文

语境:回应 Miller 原文;追问后说明熟练度差别来自本人在公司的观察。 · 读取时间:2026-10-29

逐句忠实转述(非原文)

他赞同不必沉迷每一个新概念,但认为了解工具边界、反复尝试仍是一项需要练习的能力。六个月前做不好的任务可能已经改变,只有再试才知道。他的反对不是要求背更多提示,而是认为长期实践不能被一概归入即将过期的小技巧。

编辑评读

这篇短文最有用的提醒,是把学习的回报期说清楚。一个临时写法能为今天的任务省下时间,就可能值得学;但如果课程把它描述为多年有效的门槛,便需要解释为什么基础模型或产品不会很快吸收它。技巧的即时价值与长期稀缺性并不相同。

joshstrange 的反驳则补上了另一边:不追热点也不意味着仅看一遍教程就能知道工具边界。把任务拆清楚、发现输出哪里不可靠、隔一段时间重试以前失败的事,都需要实践。这些能力可能比特定提示格式更持久,不过评论中的熟练度差别仍是个人观察,不能当成严格生产率研究。

可迁移的学习方式,是给常用技巧附上它解决的具体失败:当初为什么需要这条限制,怎样知道模型已不再需要它。模型升级后重试原任务,便能区分应当保留的经验与已经过期的补丁。这个做法也把“持续学习”从不断追新名词,变成持续校正自己的能力地图。

依据 1

LEARN BY DOING

技能学习

每天 1–2 份实践材料

博客 · 项目实践 · LangChain · design-agent

拆读一个设计 Agent:哪些选择给模型,哪些要求写进程序

技术persistent sandboxstaged rendering

仓库把持续项目、技能与知识、代码检查和制作阶段放在一起,适合学习怎样把创作判断与可确定约束分别实现。

能阅读简单工程目录和流程说明;不需要接入真实 Slack 或部署服务。 · 编辑建议约45分钟:读架构和制作流程,再在纸面上改造一个自己的任务。

动手试试:挑一个公开素材制作任务,列出三项应交给模型的表达选择,以及三项可明确检查的要求;再设计便宜草稿到最终制作的两个阶段。记录哪条限制只是补救旧能力。本刊未运行这个练习。

CONNECT THE DOTS

把几件事放在一起看

编辑观察
追踪记录 ↗01

给临时规则一个退出的条件

维护 Agent 时,最容易留下的是过去有效的一条指令,最容易丢失的是它当时为什么有效。模型不善于设计,于是限定组件;容易漏步骤,于是要求固定顺序。每次失败加一条,系统会越来越像旧模型的使用手册。本期设计 Agent 的经验给出另一种可能:能力升级后,一部分曾经帮助完成任务的规则,开始减少可选择的方案。

我们的判断是,更新规则时应同时问“它还在防止哪种失败”与“它挡住了什么新做法”。知识库此前关于规则回归的想法,关注改动后别破坏旧的成功案例;现在需要补上另一侧:保护成功结果,不必等于保护当时那条实现路径。LangChain 放开组件选择但保留品牌要求,正好把这两者分开。不过它是团队复盘,不能据此声称所有约束越少越好。

Charles Miller 的提醒解释了为什么这项维护会越来越重要。某些技巧的价值来自模型暂时做不到,产品一旦吸收这项能力,继续学习或执行旧技巧便可能只剩成本。评论者的反驳又阻止我们走向另一个极端:判断边界本身需要实践。值得保留的经验不是永远照着某个提示写,而是知道原先失败在哪里,并愿意在条件变化后重新检查。

Simon 的游戏让退出条件更难、也更清楚。生成代码和画面变容易,并不意味着“好玩”这个目标也该撤掉。作者与试玩评论者对同一成品的评价不同,说明验收不能只问它有没有运行。对创作任务,规则可以放松,但应保留外部体验反馈;对结构化工作,则可保留明确的格式、计算与交付检查。不同目标需要不同证据,不能让一张成功截图替代所有判断。

一种可尝试的做法,是为重要规则留下最初的失败例子和它要保护的结果。模型升级后,在少量代表任务上比较保留与撤除的效果,同时检查旧成功、新机会和返工成本。若只改善外观却增加流程故障,便不能算退役成功;若输出稳定满足目标而做法更多样,也没必要强迫它回到旧模板。这是由本期材料推导的工作方法,尚未做过这样的对照试验。

这个判断的边界也很实际:权限、事实准确性和必要交付条件,往往来自工作本身,不是旧模型能力不足。它们不能因为一次漂亮演示就被当成过期补丁。真正值得追踪的是,同一任务目标下,哪些临时安排已经没有收益,以及使用者能否说明删去它们后为什么仍然放心。这样,模型进步才会改变工作的可选路径,而不是只让原来的流程跑得更快。

团队体验变化也可能来自模型和平台同期更新,并非删规则单独造成。

撤除限制后,旧任务质量与新方案空间能否同时改善。

相关条目:LangChain 的设计 Agent:删去固定模板,保留设计原则与制作流程 / Simon Willison 做了四个小游戏,评论者追问的却是“好玩吗” / “AI 技巧会过期”,不等于不必练习使用工具

来源 1 · 来源 2 · 来源 3