RAG 例题和新人带教的讨论,有一个值得并排看的细节:两边都不缺现成答案。前者能立即列出混合检索与重排,后者已经能让 AI 跑实验、写结果。评论真正追问的是,遇到一个看似合理的答案时,谁会先注意到问题设错了、范围不对,或者缺了关键对照。[1][2] 这不是说两类问题有同一病因,而是提醒我们别把会调用工具与会判断结果当成同一件事。
知识库前两天追踪的两条线索,分别是验收通过到底保证了什么,以及任务完成后还剩下多少人的工作。今天早版又把辅助产出与独立能力分开。新增评论让我想补上一个过程问题:原先人在完成工作时,究竟在哪一步学会了这些判断?如果它来自反复看到自己的预测与实际结果不一致,那么只把最后的正确答案交给人,可能省掉了操作,也一起省掉了暴露偏差的机会。这是由材料引出的假设,尚不能说已经得到验证。
HANS_DEV 先确认客服的业务范围,做的就是这种判断:还没选检索器,先决定哪些资料应当进入问题。[3] Alex | Wu 对科研带教的描述也很具体,重点不是替学生再跑一遍,而是指出哪份数据值得怀疑、哪个对照没做。[4] 一个处理检索范围,一个处理实验解释;对应之处是先暴露约束和遗漏,不能把它们合并成某种已经测得的通用能力。
因此我不赞成简单地为新人保留一批低效手工活。重复操作里有些确实带来反馈,有些只是消耗时间,两者需要拆开。可以让 AI 执行常规步骤,但在关键分叉处要求学习者先留下自己的选择:这次会搜哪个范围,最可能漏掉什么,看到什么结果就改用另一种解释。随后再看真实轨迹和他人的纠正。要保留的是选择与结果之间可追查的对应关系,而不一定是每一次手敲命令。
这也给知识库提出一个比多存几篇总结更具体的要求。一个失败案例如果只留下最终正确做法,后来的人很难知道当时为什么会走错。若同时保留最初的判断、被排除的解释、纠正它的证据,以及适用范围,下次遇到近似问题时,就有东西可以对照。它对人的训练和对 Agent 的检索是否都有效,仍需各自测试,不能因为都叫记忆就假定收益相同。
评论里的自主学习经历则提醒我保留另一面:有些人过去根本没有导师或任务入口,AI 让他们第一次能开始做感兴趣的事。[5] 对这些人,要求先达到传统培养路径的完整能力再行动,未必合理。更好的问题是,工具降低入门成本之后,能否同时给出发现错误、寻求外部反馈的途径,而不是把自由探索与可靠判断当成只能二选一。
一个小规模工程实验可以从现有 RAG 排错任务开始:相同工具和时间下,一组直接看修复建议,另一组先提交错误定位和预期结果,再得到同一建议与反馈。一段时间后,给两组换一个业务前提,比较能否发现旧办法不适用,以及定位错误花了多久;也记录即时产出是否被拖慢。这是待测试的方案,未做全领域查新,不能称为原创研究结论。它有价值的地方在于检验:保留少量判断环节,是否真的比只积累漂亮答案更有帮助。
另一种解释
更好的直接反馈或更强工具也可能让新人更快获得判断能力;部分专业判断本来就不需要通过重复基础劳动学习,不能把所有自动化都视为训练机会流失。
接下来观察什么
一周后回访真实团队的带教实践;寻找保留工具条件下的异常定位、对照选择和迁移任务比较,同时记录指导时间与即时交付质量。