“用 AI 十分钟后更容易放弃”听起来是在评价一种工具的全部影响。回到实验,测量的却是短暂辅助被撤走后,人愿不愿继续、能否独立答题。[1] 这与 Karpathy 谈专业使用者看到的能力跃升并不直接冲突:后者主要在谈持续使用工具能完成什么。[2] 两种结果可以同时出现,不能从其中一个直接否定另一个。

这里真正需要改的是比较单位。把有 AI 的作答分数与没有 AI 的分数比较,回答即时协作表现;撤走工具后再测,回答此次练习留下了什么。一个训练系统可能在第一项表现很好,在第二项不足。相反,一个熟练工程师选择把重复步骤交给工具,本来就未必希望记住每一步。没有先确定学习、交付还是保持接手能力的目标,任何“提效”或“退化”都容易越过证据范围。

对研究的质疑也要落实到具体设计。HN 的 imeanwhatdoikno 希望增加计算器、教材或人类帮助的对照;contubernio 则说,工具替自己跨过技术障碍后,数学研究的动力反而增强。[3][4] 前一条追问是否存在 AI 特有的效应,后一条是个体使用体验,不能反驳随机实验的组间结果,但它提醒我们别把做题时的跳过率当成全部工作动机。

存在一个更有约束力的历史边界。Bastani 等人在高中数学课堂比较普通聊天助手与带教师解题信息、主要提供提示的助手;后者大体缓解了撤去工具后的负面影响,却没有让无辅助考试成绩明确超过对照。[5] 这意味着辅助方式值得实验,不能把结果写成“只要改为提示就一定学得更好”。学校课堂、成人短时实验、专业研究者的工作仍不是同一个场景。

我的延伸判断是:接手能力可能也是人力负担的一部分。自动化运行顺畅时,少操作的收益容易看见;到了异常,人能不能指出哪里不对、恢复哪段过程,才决定审阅是不是有效。对此应加一个直接测量:在相同难度的工作中,先让人使用不同辅助方式,再安排一个需要接手的失败,比较错误定位、恢复耗时和最终质量。这个实验尚未由今天的材料完成。

另一方面,不能因为恢复能力重要,就要求每个人保留所有手工步骤。对能可靠重复的工作,工具可能把注意力腾出来处理更难的问题。Mollick 强调技术应用还不该只局限于数学和代码,[6] 我同意应扩大任务观察范围,但评价每个新领域时仍要确定它真正需要保留的能力,而不是把某个领域的成功率搬过去。

昨日观察主要比较操作时间、注意力和新增产出;今天补充的是学习与故障接手的目标差别。后续需要同时追问:哪些工作确实交付得更多,哪些判断能力必须留在人身上,以及辅助方式能否兼顾两者。短时随机实验提供了可检查的风险信号,长期影响仍需纵向测量,不能把它升级成永久损伤的结论。

另一种解释

工具常驻的专业工作可能增加动力和产出;撤走工具的测量适合学习与接手目标,却不能单独评估完整工作价值。

接下来观察什么

寻找随机分配直接答案与分步提示的长期实验;同时记录辅助产出、延迟无辅助表现,以及异常时人的接手质量。

相关材料