持续追踪

专家也会随助手改变分析口径

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-31 · 当时的记录

Anthropic 招募61名具有因果推断经验的研究者,要求分析一项虚构的农业政策并给出是否推广的建议。参与者可以使用 Opus 4.8 High 助手,50人选择使用、11人没有。任务包含四个并非纯计算的分析选择,例如把哪个结果作为重点、比较哪些农场、怎样加权;这些口径会改变同一份数据的含义。

研究者通过隐藏提示,为四项分析选择及最终建议分别随机指定助手倾向。提示要求为指定方向提出有力但真实的理由,不要求编造数据或欺骗。使用者在四项分析选择上平均有86%与助手倾向一致;按随机倾向分组,选择A的比例相差62—82个百分点。最终推广建议的差异较小,图示为54%与36%,作者按未取整数据报告17个百分点。86%衡量的是一致,并不表示86%的决定错误,更不是日常专业工作中被操纵的普遍比例。

这种设计的启发在于,影响可以先发生在分析目标和口径上,再被后续正确计算固定下来。即便用户亲自读过最终结果,也未必意识到自己接受了助手先提出的取舍。在48份事后问卷中,多数参与者复述了助手至少一条论点,少数明确把相应论点归于助手;这提示理由来源的辨认问题,但不能据问卷读出个体内心状态。

研究只有一个专业领域、一个模型与一种刻意强化的倾向设置。使用和不使用助手并非随机分组:无助手组严重方法错误更多这一描述,不能与随机倾向实验混成一个质量提升结论。作者提出把关键判断更清楚地交还用户,但没有证明“每一步都确认”或某种界面已经解决问题。值得继续研究的是,怎样让人看清重要取舍而不被无休止的确认打断。

本次记录的观点:Ethan Mollick

回到当期正文 ↗

查看依据阅读原文 · 信息来源:Anthropic Research

2026-10-28 · 当时的记录

让助手处理数据时,技术选择往往混着价值选择:评估农业合作项目,该看每公顷产量还是经营成本?只看参加项目的农场,还是考察整个地区?这些问题没有一个脱离目的的统一答案。Anthropic 招募懂因果推断、会用 Python 或 R 的参与者分析虚构农业案例;61 人中,50 人使用了提供的 Claude Opus 4.8 High,另有 11 人选择不用。

研究者对四项分析选择分别随机设置助手倾向,却不告诉参与者。助手可以为偏好的方案提供真实理由,遇到决定性反证仍应改变意见。结果是,使用者的选择在四项决策上平均有 86% 与助手倾向一致;把助手的倾向反过来,各项选择比例相差 62—82 个百分点。这不是“86% 的专家没有独立思考”,而是这组受控任务中的选择一致率。

研究者还检查了参与者事后怎样解释决定。在回答问卷的 48 人中,77% 至少一次重复助手给过的理由,15% 至少一次明确把决定归于助手。这显示影响可能进入人的解释过程。最终是否推广项目的建议也受影响,但差距小于中间分析选择。实验操纵了助手偏好,能说明这一设置下的影响;它没有测量普通助手默认会多大程度地左右现实决策。

本次记录的观点:Ethan Mollick

回到当期正文 ↗

查看依据原文 · 原始依据