原始来源：Ai2 方法与结果说明
发现渠道：AIHOT · 精选线索（非原帖直采）
自动提出研究想法之后，研究者还需要判断它与已有工作差在哪里。Ai2 这次介绍的新颖性评估研究把这个环节单独拿出来检查：同一对想法，仅改变评委提示的说法，判断就可能大幅移动。它没有证明 AI 不能帮助查文献，而是在追问，模型给出的“新颖”判词有多稳定。
团队构造了来自评审记录的高、低新颖性论文集合，又把 154 个获评审认可的人类想法与简单流程生成的想法配对。后者没有经过搜索、反复改进或专家把关，被当作较弱的一组；这是一种有局限的标签构造，不能推出“人写的一定更新”。专家另审了 30 对刻意挑选的困难例子，也不能替代对全部样本逐一标注。
在同一批配对上，先告诉模型“评审认为两项中恰有一项有新意”并让它选出那项，与直接问“哪一个有新意”，得到的选择比例差异很大。图中的 GPT-5.4 从 93.5% 降到 40.9%；百分比表示选中评审认可的人类想法的比例，不是模型对世界上所有研究新意的准确率。增加检索或计算量也没有带来一致改善。论文 10 月 1 日首发、26 日更新至 v3；本轮增量是 27 日的新博文集中解释这些评估配方与失稳现象。
可信度 65 · 重要性 84 · 新颖度 68
技术与主题
AI 编程 · 评测与基准 · 基础模型 · LLM-as-Judge · novelty evaluation · prompt sensitivity
编辑评读
两个问题并不完全等价。预测既有评审会选谁，与判断相对于全部已知工作的独创性，本来就可能需要不同线索；这既是研究发现，也提醒我们不要把提示词敏感性简单解释成模型随机摇摆。如果应用要挑选真正值得做的研究，就不能只用“能猜中评审偏好”验证评委。
更可迁移的用途，是让模型交出判断所依据的最近邻工作、共用机制和具体差别，再由研究者判断差别是否成立。这样，检索可以直接减少遗漏文献，即使最终新颖性分数仍不可靠。反过来，若只接收总分，提示词、给了哪些论文和默认的评判对象都会藏进一个数字。
实际采用前，可以拿领域内有明确争议与明确先例的少量材料，检查换一种问法是否改变关键理由，而不只看排序相关性。本期没有执行这样的评测，也未找到针对这篇工作的成熟独立复现；图中的差异只支持所测样本与设置下的结论。
需要留意
- 人类／生成标签并非逐样本的真值；研究说明与图表属于同一作者证据组。