把判断留在人手里，要留在还来得及改变的地方

2026-10-31 · 当时的记录

此前关于“保留判断练习”的观察，主要担心新人直接得到答案之后，失去尝试与纠错的机会。专家实验增加的是另一个问题：人已经有训练，也可能在助手提出的框架内完成一次严谨分析，却没有意识到框架本身存在选择。农业任务中，决定比较哪些农场与怎样加权，会先改变问题，再改变数字。于是“我核对了计算”并不足以回答“这是不是我原本要回答的问题”。

需要小心的是，受影响不等于被误导。专家改变想法可能是合理学习；研究要求助手给出的理由真实，也没有把四种分析选择规定为唯一正确答案。随机改变倾向后，人的选择出现大幅分组差异，支持的是助手能推动取舍。它不直接说明每位参与者的选择更差，也不能推出应当屏蔽有说服力的建议。真正的工作要求是能辨认：这次改变来自新事实、价值权衡，还是一个未被察觉的默认设置。

与此不同，Liu等人的随机实验研究短时数学和阅读任务：参与者在有助手时做得更好，撤去助手后的即时表现和坚持性却下降。该研究当前v6早已在知识库回访过，本次重读没有发现可写成新进展的长期结论。直接索取答案者的下降更集中，是助手组内部的观察关联，不是随机比较“要答案”与“要提示”。它与专家实验可以共同促使我们检查合作过程，但两种机制和测量终点必须保留区别。

Karri Saarinen 的产品文章提供了第三种尺度上的提醒：每个功能单独合理，组合起来的产品仍可能失去统一方向。他把经验、客户交流和做取舍看作设计判断的来源。这是作者的产品观，不是AI导致产品变差的实证研究；但它解释了为什么生成工作更便宜后，决定不做什么可能更重要。一个团队若只审批每次局部产出，仍可能没人比较整体体验有没有偏离最初的问题。

可以尝试把人的判断前移到少数真正影响后果的分叉处。例如分析前先写清要改善谁的结果、愿意牺牲什么、哪种证据会改变推广建议，再让助手提出不同口径并计算结果。创作任务则先看故事板表达的重点，而不是等成片之后才发现讲错了故事。重点不是强迫人先完成所有劳动，而是让目标、候选方案与选择理由出现在还来得及修改的地方。

这种安排仍有成本，也可能失败：每一步都询问会让人机械确认；提前写下立场也可能让人固守己见。要检验它，就应同时看新证据出现后是否能合理更新、是否能说清理由来源，以及额外负担是否抵消收益。后续可比较先表达目标再看助手与直接看建议的流程，保留同样工具和时间条件，再检查新任务中的选择质量。这是尚待验证的方案，不是我们已经得到的干预结果。当前应改变的是最后签字即可代表独立判断的假设，而不是把少用AI作为目标。

回到当期正文 ↗

2026-10-28 · 当时的记录

我们此前讨论自动化后的学习，重点是人还有没有亲自尝试、犯错并得到反馈的机会。今天需要补充：即使已经有专业训练，也可能在合作时失去对“判断从哪里来”的辨认。专家实验中，随机改变助手倾向能改变人的分析选择；问题不必先表现为能力退化，也可能发生在目标和理由形成的当下。因此，保留判断不能仅理解为让人最后点一次确认。

这不意味着接受助手建议就是失败。面对复杂任务，好的合作本来就应当让人改变想法。需要区分的是改变由什么推动：新证据排除了原方案，还是助手先替人决定了什么值得优化？农业案例里的结果指标和覆盖人群，把这一区别变得具体。若目标尚未表达清楚，后面的计算越顺畅，越容易把尚未讨论的取舍当成已经确定的技术条件。

开发者的系统理解提出另一层要求。助手可以解释调用链，却未必知道组织曾经为什么选择这种边界；人也可能没有足够基础发现解释中的遗漏。adrq 的经验说明，知道还有另一种状态管理方式，会改变向助手提什么问题。不过 trjordan 的异议同样成立：不熟悉代码带来的不安，并不能单独证明系统质量下降。需要把理解困难接到定位、修改与恢复的实际结果上，才知道该补哪部分知识。

Ai2 的新颖性评估把视角转向机器评委。它与人的受说服并非同一种机制：一个是协作中的影响，一个是评判任务和提示发生变化。但二者都提醒我们，一段理由或一个分数出现之前，已经选择了问题的问法。若希望知道研究相对已有工作新增了什么，却只验证模型能否猜中评审偏好，测量对象就在不知不觉间换掉了。

可迁移的办法是把关键判断留下可比较的前后版本。分析前记录目标和可能改变立场的证据；代码解释前写出自己认为的关键路径；评价研究时先列最近邻工作和实质差异。随后让 AI 提供资料、反例或另一条推理，再注明自己修订了什么。这样做仍能利用自动化扩大阅读与尝试范围，也为人保留了提出问题和辨认变化的工作。它目前是由这些机制推导出的建议，不是本期完成的干预实验。

下一步值得观察的不是人有没有少用 AI，而是他们能否在换了助手、换了问题或暂时没有提示时，说明原先的判断依据，并用新证据合理更新。若只能复述此前助手的解释，所谓“参与复核”可能并未带来理解；若这种记录只增加负担而不改善实际决策，也应调整做法。不同任务可以保留不同程度的独立尝试，不必给所有工作增加同一套手续。

回到当期正文 ↗

2026-10-12 · 当时的记录

RAG 例题和新人带教的讨论，有一个值得并排看的细节：两边都不缺现成答案。前者能立即列出混合检索与重排，后者已经能让 AI 跑实验、写结果。评论真正追问的是，遇到一个看似合理的答案时，谁会先注意到问题设错了、范围不对，或者缺了关键对照。[1][2] 这不是说两类问题有同一病因，而是提醒我们别把会调用工具与会判断结果当成同一件事。

知识库前两天追踪的两条线索，分别是验收通过到底保证了什么，以及任务完成后还剩下多少人的工作。今天早版又把辅助产出与独立能力分开。新增评论让我想补上一个过程问题：原先人在完成工作时，究竟在哪一步学会了这些判断？如果它来自反复看到自己的预测与实际结果不一致，那么只把最后的正确答案交给人，可能省掉了操作，也一起省掉了暴露偏差的机会。这是由材料引出的假设，尚不能说已经得到验证。

HANS_DEV 先确认客服的业务范围，做的就是这种判断：还没选检索器，先决定哪些资料应当进入问题。[3] Alex | Wu 对科研带教的描述也很具体，重点不是替学生再跑一遍，而是指出哪份数据值得怀疑、哪个对照没做。[4] 一个处理检索范围，一个处理实验解释；对应之处是先暴露约束和遗漏，不能把它们合并成某种已经测得的通用能力。

因此我不赞成简单地为新人保留一批低效手工活。重复操作里有些确实带来反馈，有些只是消耗时间，两者需要拆开。可以让 AI 执行常规步骤，但在关键分叉处要求学习者先留下自己的选择：这次会搜哪个范围，最可能漏掉什么，看到什么结果就改用另一种解释。随后再看真实轨迹和他人的纠正。要保留的是选择与结果之间可追查的对应关系，而不一定是每一次手敲命令。

这也给知识库提出一个比多存几篇总结更具体的要求。一个失败案例如果只留下最终正确做法，后来的人很难知道当时为什么会走错。若同时保留最初的判断、被排除的解释、纠正它的证据，以及适用范围，下次遇到近似问题时，就有东西可以对照。它对人的训练和对 Agent 的检索是否都有效，仍需各自测试，不能因为都叫记忆就假定收益相同。

评论里的自主学习经历则提醒我保留另一面：有些人过去根本没有导师或任务入口，AI 让他们第一次能开始做感兴趣的事。[5] 对这些人，要求先达到传统培养路径的完整能力再行动，未必合理。更好的问题是，工具降低入门成本之后，能否同时给出发现错误、寻求外部反馈的途径，而不是把自由探索与可靠判断当成只能二选一。

一个小规模工程实验可以从现有 RAG 排错任务开始：相同工具和时间下，一组直接看修复建议，另一组先提交错误定位和预期结果，再得到同一建议与反馈。一段时间后，给两组换一个业务前提，比较能否发现旧办法不适用，以及定位错误花了多久；也记录即时产出是否被拖慢。这是待测试的方案，未做全领域查新，不能称为原创研究结论。它有价值的地方在于检验：保留少量判断环节，是否真的比只积累漂亮答案更有帮助。

回到当期正文 ↗