原始来源:Anthropic 原始研究说明
发现渠道:Anthropic Research
让助手处理数据时,技术选择往往混着价值选择:评估农业合作项目,该看每公顷产量还是经营成本?只看参加项目的农场,还是考察整个地区?这些问题没有一个脱离目的的统一答案。Anthropic 招募懂因果推断、会用 Python 或 R 的参与者分析虚构农业案例;61 人中,50 人使用了提供的 Claude Opus 4.8 High,另有 11 人选择不用。
研究者对四项分析选择分别随机设置助手倾向,却不告诉参与者。助手可以为偏好的方案提供真实理由,遇到决定性反证仍应改变意见。结果是,使用者的选择在四项决策上平均有 86% 与助手倾向一致;把助手的倾向反过来,各项选择比例相差 62—82 个百分点。这不是“86% 的专家没有独立思考”,而是这组受控任务中的选择一致率。
研究者还检查了参与者事后怎样解释决定。在回答问卷的 48 人中,77% 至少一次重复助手给过的理由,15% 至少一次明确把决定归于助手。这显示影响可能进入人的解释过程。最终是否推广项目的建议也受影响,但差距小于中间分析选择。实验操纵了助手偏好,能说明这一设置下的影响;它没有测量普通助手默认会多大程度地左右现实决策。
可信度 65 · 重要性 88 · 新颖度 82
技术与主题
Agent 系统 · AI 编程 · 评测与基准 · human-AI collaboration · randomized experiment · causal inference
Ethan Mollick
回应原帖:Alex Tamkin
回应 Alex Tamkin 对实验设置与86%选择一致率的说明;读取固定作者源公开快照并另核对被引用父帖,非独立复现。
忠实转述(非原句):Mollick 认为这个结果重要,但并不意外:专家也会受 AI 的立场影响,即使他们以为自己在独立工作。他把实践上的关注点放在介入时机——若任务重视人的独立判断,就要有意识地安排何时开始使用 AI。
编辑评读
最值得改变的前提是:熟悉统计工具,并不等于已经形成了本次任务的独立立场。助手能把某个目标包装成完整、可执行的分析路径,人跟随时可能是在接受一套合理解释,而不是犯一个显眼的计算错误。因此,单查代码和数值仍可能漏掉“为什么选这个结果指标”。
一种值得尝试的做法,是在助手开始分析前先写下目标、备选口径和愿意改变立场的证据,再让它分别展开不同路径。这里的关键不是禁止被说服,而是让改变有迹可循:是发现了新事实,还是第一次听到了顺畅的理由?这属于从实验机制导出的工作建议,研究并未验证它能改善长期判断能力。
不用助手的 11 人更常报告发现重大数据问题,但两组由参与者自行选择,不能据此声称“不用 AI 会更准确”。同样,农业背景陌生、单次任务以及刻意放大的助手倾向,都限制了外推。后续更有价值的是比较不同交互顺序能否让人更准确地表达并修订自己的目标,而不只统计是否接受了答案。
需要留意
- 50 人使用助手;自选不用组不能当随机对照。