Ben Stolovitz · 阅读原文

Ben Stolovitz 在10月31日发布、11月1日更新的年度使用记录,今天因新讨论受到关注。他已从微软 Windows 团队转到 Salesforce AI Research,主要做原型;工作用 token 费用约每月3000美元由公司承担。因此,这是一位有经验、预算较充足的研究工程师的经历,并非普通开发团队的平均生产率调查。

他现在会在独立工作区里同时推进五六个 Agent 任务,能更轻松地试做以前放弃的想法、补紧急问题,也喜欢模型自己调用语音功能来测试产品的巧思。与此同时,管理六段不同对话让他感到过度刺激和疲劳。他今年最成功的一项工作,反而是亲手把约4000行生成代码重写为几百行,使其更容易测试与扩展。

研究中的挫折更能说明边界:做对话轮次识别时,模型能找资料,却会沿着他最初提出的架构继续走;如何区分打断与轮次、如何标注数据,仍让他反复耗费时间,后来与同事交谈才澄清。他很享受原型能力扩大,也在重新寻找自己愿意承担的审查、思考与创作方式。

可信度 65 · 重要性 78 · 新颖度 68

技术与主题

Agent 系统 · AI 编程

Ben Stolovitz

观点原文

作者从个人工作与学习经历出发;其原型任务、经验和公司预算限定了可推广范围。

忠实转述(非原句):他改变了审查重点:更关注设计与测试,而不是逐行接管生成过程;反复出现的问题会写成规则。他没有把这当成不需要人类经验,自己手工重构的成功也提醒他,好结构并不自动随更多生成而来。

Dzugaru

观点原文

HN同文评论;个人高频使用经历,没有提供对照实验。

忠实转述(非原句):他同样每月花费超过3000美元使用模型,但仍每天在代码中找到 Agent 和测试共同漏过的错误假设,尤其发生在数据分析与复杂系统里。他认为很多情况下读代码不能省掉,而认真读过一遍往往也会让代码更短、更好。

epihelix

观点原文

HN对“编程已解决”的讨论;保留作者对自身熟练度这个混杂因素的疑问。

忠实转述(非原句):他的经验更乐观:一年多前常要逐行修正,如今模型给出的代码与方案已更少需要大改。不过他也不确定改善有多少来自模型本身,有多少来自持续使用后更懂得怎样提供细节、描述问题,以及提出方案却不把其他选择堵死。

编辑评读

这篇记录提醒我们,产出变多与工作变轻松是两项不同变化。并发使等待时间变短,却让人不断在不同问题、文件状态和模型假设之间切换;当一次提示就能继续生成,人也更难找到自然的停止点。没有匹配任务和长期质量数据,不能从这些经历计算净效率,但它把下一步应测的成本说得很清楚:切换、核对和返工。

研究问题还多一层。若目标本身没定义清楚,Agent 会很有效地推进一个暂时接受的解释,生成更多看似相关的文献、代码和分析。这些产物又会增加改方向的心理与审阅成本。可以借用的方法,是在大规模实现前单独检查任务定义:哪些现象算成功,哪些相似现象不算,两个熟悉领域的人能否对同一个例子达成一致。它与让模型提出更多方案不是同一件事。

评论区的分歧也有信息量:有人在复杂系统中仍每天发现测试漏过的假设,有人却明显减少逐行修正。两者未必矛盾,因为任务结构、历史经验和提示习惯都不同。更有用的比较单位是一个能说明上下文的完整案例,而不是“编程已经解决”或“模型仍然不行”这类总判断。

核查依据

所属事件

收录记录