追踪记录 ↗01让 Agent 互相检查，能替代外部判据吗？
游戏能启动、地图能加载，足以让团队觉得工作正在接近完成。Heumann 的反编译记录却把这个直觉打断了：负责审阅的 Agent 也会接受工作者写下的解释。后来，团队把一部分验收转成了与原二进制的比对。[1] 这使“再加一个审阅者”变成了一个具体问题：它增加的是一次检查，还是另一份来自相似推理过程的认可？
MASS 提供了一个值得认真对待的相反方向。它让共享模型组织团队、比较成果，并把较好的轨迹用于训练；作者另外使用更强模型评价，评价结果不反馈给训练循环。[2] 不能因为监督信号来自自身，就认定它毫无价值。问题应收窄到：外部测量支持哪类提升，以及这种提升离我们需要的正确性保证还有多远。
两项工作的任务条件差别很大。反编译有一个已存在的参照物，可以要求复现它；开放研究通常允许多种方法和答案，字节相同既不可用，也不是目标。模型裁判能比较研究方案的覆盖与解释，这正是硬规则不容易处理的部分。由此推断，把审阅全部换成确定性脚本并不合理；先辨认哪些承诺能由脚本直接核对，再把真正开放的判断留给模型或人，才有清楚的分工。
反编译讨论里，brandonpelfrey 提出更宽松的路线：比较执行中的内存访问，并要求分支覆盖，给实现留下变化空间。原作者则反驳，内存访问一样仍可能漏掉寄存器或浮点状态的差异。[3][4] 这个分歧说明，“严格”不是一个可以单独打分的优点。检查越贴近想保留的行为越好；如果任务只需要选定输入上的行为一致，字节比对可能过严，如果承诺连未发现的原版缺陷也要保留，有限测试又可能过宽。双方没有提供可比较的完整公开实验，速度争论仍不能下定论。
今天的 Mac 推理项目给出更小的对照：作者把性能改动与相同输入下的输出比对一起记录。[5] 这不能保证模型答案正确，却能限制“加速时悄悄换了计算结果”这一类解释。检查器的价值在于排除特定错误，而不是盖一个通用正确章。MASS 的外部模型评价也类似：它比只看自评分多了一道对照，但不同模型仍可能共享遗漏，评价结果不能直接变成科研发现已被验证。
工程上，我会把一项审阅拆成两个可追问的承诺。第一，生成者能否改动判据或影响检查所读到的材料？第二，有没有一个坏结果，仍能通过这项检查？前者涉及检查边界，后者涉及判据覆盖。接着再测误拒绝：把正确但采用不同实现的结果交给它，看看是否被错误拦下。这是本期提出的比较办法，尚不是上述作者共同完成的实验。
与昨日的判断相比，今天补上了“验收会反过来约束可选实现”的一面。保持旧行为、改善运行速度、产生有价值的研究，是不同承诺；选一个容易自动化的指标，可能帮助其中一个，也可能挤掉另一个。值得追踪的进展是：在明确承诺下，系统少漏了哪些错误、又多拒绝了哪些有效结果，而不是一共安排了多少个审阅角色。
有可检查参照的反编译与开放研究不同；同模型审阅可能提供有用改进，固定规则也可能误拒绝正确实现。本文没有证明某一种检查器普遍更优。
寻找同一批任务中硬判据、模型审阅及组合方案的配对比较，公开错收、误拒绝、检查耗时和检查器是否可被改动。
相关条目：游戏能运行，不代表反编译正确：一份三个月的 Agent 实践 / MASS：从团队轨迹训练模型，收益先出现在研究任务上 / Mac 流式推理：页对齐与同步等待，怎样拖慢首 token
来源 1 · 来源 2 · 来源 3 · 来源 4 · 来源 5
追踪记录 ↗02少做一道题，与少做一份有用工作，不能混着衡量
“用 AI 十分钟后更容易放弃”听起来是在评价一种工具的全部影响。回到实验，测量的却是短暂辅助被撤走后，人愿不愿继续、能否独立答题。[1] 这与 Karpathy 谈专业使用者看到的能力跃升并不直接冲突：后者主要在谈持续使用工具能完成什么。[2] 两种结果可以同时出现，不能从其中一个直接否定另一个。
这里真正需要改的是比较单位。把有 AI 的作答分数与没有 AI 的分数比较，回答即时协作表现；撤走工具后再测，回答此次练习留下了什么。一个训练系统可能在第一项表现很好，在第二项不足。相反，一个熟练工程师选择把重复步骤交给工具，本来就未必希望记住每一步。没有先确定学习、交付还是保持接手能力的目标，任何“提效”或“退化”都容易越过证据范围。
对研究的质疑也要落实到具体设计。HN 的 imeanwhatdoikno 希望增加计算器、教材或人类帮助的对照；contubernio 则说，工具替自己跨过技术障碍后，数学研究的动力反而增强。[3][4] 前一条追问是否存在 AI 特有的效应，后一条是个体使用体验，不能反驳随机实验的组间结果，但它提醒我们别把做题时的跳过率当成全部工作动机。
存在一个更有约束力的历史边界。Bastani 等人在高中数学课堂比较普通聊天助手与带教师解题信息、主要提供提示的助手；后者大体缓解了撤去工具后的负面影响，却没有让无辅助考试成绩明确超过对照。[5] 这意味着辅助方式值得实验，不能把结果写成“只要改为提示就一定学得更好”。学校课堂、成人短时实验、专业研究者的工作仍不是同一个场景。
我的延伸判断是：接手能力可能也是人力负担的一部分。自动化运行顺畅时，少操作的收益容易看见；到了异常，人能不能指出哪里不对、恢复哪段过程，才决定审阅是不是有效。对此应加一个直接测量：在相同难度的工作中，先让人使用不同辅助方式，再安排一个需要接手的失败，比较错误定位、恢复耗时和最终质量。这个实验尚未由今天的材料完成。
另一方面，不能因为恢复能力重要，就要求每个人保留所有手工步骤。对能可靠重复的工作，工具可能把注意力腾出来处理更难的问题。Mollick 强调技术应用还不该只局限于数学和代码，[6] 我同意应扩大任务观察范围，但评价每个新领域时仍要确定它真正需要保留的能力，而不是把某个领域的成功率搬过去。
昨日观察主要比较操作时间、注意力和新增产出；今天补充的是学习与故障接手的目标差别。后续需要同时追问：哪些工作确实交付得更多，哪些判断能力必须留在人身上，以及辅助方式能否兼顾两者。短时随机实验提供了可检查的风险信号，长期影响仍需纵向测量，不能把它升级成永久损伤的结论。
工具常驻的专业工作可能增加动力和产出；撤走工具的测量适合学习与接手目标，却不能单独评估完整工作价值。
寻找随机分配直接答案与分步提示的长期实验；同时记录辅助产出、延迟无辅助表现，以及异常时人的接手质量。
相关条目：“十分钟 AI”研究：撤走辅助后测了什么，没测什么 / Karpathy：为什么不同人看到的 LLM 能力差这么多 / Mollick 补充：先进模型的用途不该只盯数学和代码
来源 1 · 来源 2 · 来源 3 · 来源 4 · 来源 5 · 来源 6
追踪记录 ↗03任务做完了，判断是怎么学会的？
RAG 例题和新人带教的讨论，有一个值得并排看的细节：两边都不缺现成答案。前者能立即列出混合检索与重排，后者已经能让 AI 跑实验、写结果。评论真正追问的是，遇到一个看似合理的答案时，谁会先注意到问题设错了、范围不对，或者缺了关键对照。[1][2] 这不是说两类问题有同一病因，而是提醒我们别把会调用工具与会判断结果当成同一件事。
知识库前两天追踪的两条线索，分别是验收通过到底保证了什么，以及任务完成后还剩下多少人的工作。今天早版又把辅助产出与独立能力分开。新增评论让我想补上一个过程问题：原先人在完成工作时，究竟在哪一步学会了这些判断？如果它来自反复看到自己的预测与实际结果不一致，那么只把最后的正确答案交给人，可能省掉了操作，也一起省掉了暴露偏差的机会。这是由材料引出的假设，尚不能说已经得到验证。
HANS_DEV 先确认客服的业务范围，做的就是这种判断：还没选检索器，先决定哪些资料应当进入问题。[3] Alex | Wu 对科研带教的描述也很具体，重点不是替学生再跑一遍，而是指出哪份数据值得怀疑、哪个对照没做。[4] 一个处理检索范围，一个处理实验解释；对应之处是先暴露约束和遗漏，不能把它们合并成某种已经测得的通用能力。
因此我不赞成简单地为新人保留一批低效手工活。重复操作里有些确实带来反馈，有些只是消耗时间，两者需要拆开。可以让 AI 执行常规步骤，但在关键分叉处要求学习者先留下自己的选择：这次会搜哪个范围，最可能漏掉什么，看到什么结果就改用另一种解释。随后再看真实轨迹和他人的纠正。要保留的是选择与结果之间可追查的对应关系，而不一定是每一次手敲命令。
这也给知识库提出一个比多存几篇总结更具体的要求。一个失败案例如果只留下最终正确做法，后来的人很难知道当时为什么会走错。若同时保留最初的判断、被排除的解释、纠正它的证据，以及适用范围，下次遇到近似问题时，就有东西可以对照。它对人的训练和对 Agent 的检索是否都有效，仍需各自测试，不能因为都叫记忆就假定收益相同。
评论里的自主学习经历则提醒我保留另一面：有些人过去根本没有导师或任务入口，AI 让他们第一次能开始做感兴趣的事。[5] 对这些人，要求先达到传统培养路径的完整能力再行动，未必合理。更好的问题是，工具降低入门成本之后，能否同时给出发现错误、寻求外部反馈的途径，而不是把自由探索与可靠判断当成只能二选一。
一个小规模工程实验可以从现有 RAG 排错任务开始：相同工具和时间下，一组直接看修复建议，另一组先提交错误定位和预期结果，再得到同一建议与反馈。一段时间后，给两组换一个业务前提，比较能否发现旧办法不适用，以及定位错误花了多久；也记录即时产出是否被拖慢。这是待测试的方案，未做全领域查新，不能称为原创研究结论。它有价值的地方在于检验：保留少量判断环节，是否真的比只积累漂亮答案更有帮助。
更好的直接反馈或更强工具也可能让新人更快获得判断能力；部分专业判断本来就不需要通过重复基础劳动学习，不能把所有自动化都视为训练机会流失。
一周后回访真实团队的带教实践；寻找保留工具条件下的异常定位、对照选择和迁移任务比较，同时记录指导时间与即时交付质量。
相关条目：检索到“红富士手机”：先加 Reranker，还是先收窄知识库？ / AI 接走基础工作以后，新人从哪里学会判断？ / “十分钟 AI”研究：撤走辅助后测了什么，没测什么
来源 1 · 来源 2 · 来源 3 · 来源 4 · 来源 5
