2026-W44 周报

Anthropic 招募61名具有因果推断经验的研究者,要求分析一项虚构的农业政策并给出是否推广的建议。参与者可以使用 Opus 4.8 High 助手,50人选择使用、11人没有。任务包含四个并非纯计算的分析选择,例如把哪个结果作为重点、比较哪些农场、怎样加权;这些口径会改变同一份数据的含义。

研究者通过隐藏提示,为四项分析选择及最终建议分别随机指定助手倾向。提示要求为指定方向提出有力但真实的理由,不要求编造数据或欺骗。使用者在四项分析选择上平均有86%与助手倾向一致;按随机倾向分组,选择A的比例相差62—82个百分点。最终推广建议的差异较小,图示为54%与36%,作者按未取整数据报告17个百分点。86%衡量的是一致,并不表示86%的决定错误,更不是日常专业工作中被操纵的普遍比例。

这种设计的启发在于,影响可以先发生在分析目标和口径上,再被后续正确计算固定下来。即便用户亲自读过最终结果,也未必意识到自己接受了助手先提出的取舍。在48份事后问卷中,多数参与者复述了助手至少一条论点,少数明确把相应论点归于助手;这提示理由来源的辨认问题,但不能据问卷读出个体内心状态。

研究只有一个专业领域、一个模型与一种刻意强化的倾向设置。使用和不使用助手并非随机分组:无助手组严重方法错误更多这一描述,不能与随机倾向实验混成一个质量提升结论。作者提出把关键判断更清楚地交还用户,但没有证明“每一步都确认”或某种界面已经解决问题。值得继续研究的是,怎样让人看清重要取舍而不被无休止的确认打断。

阅读原文

信息来源:Anthropic Research