自动提出研究想法之后，研究者还需要判断它与已有工作差在哪里。Ai2 这次介绍的新颖性评估研究把这个环节单独拿出来检查：同一对想法，仅改变评委提示的说法，判断就可能大幅移动。它没有证明 AI 不能帮助查文献，而是在追问，模型给出的“新颖”判词有多稳定。
团队构造了来自评审记录的高、低新颖性论文集合，又把 154 个获评审认可的人类想法与简单流程生成的想法配对。后者没有经过搜索、反复改进或专家把关，被当作较弱的一组；这是一种有局限的标签构造，不能推出“人写的一定更新”。专家另审了 30 对刻意挑选的困难例子，也不能替代对全部样本逐一标注。
在同一批配对上，先告诉模型“评审认为两项中恰有一项有新意”并让它选出那项，与直接问“哪一个有新意”，得到的选择比例差异很大。图中的 GPT-5.4 从 93.5% 降到 40.9%；百分比表示选中评审认可的人类想法的比例，不是模型对世界上所有研究新意的准确率。增加检索或计算量也没有带来一致改善。论文 10 月 1 日首发、26 日更新至 v3；本轮增量是 27 日的新博文集中解释这些评估配方与失稳现象。