Epoch AI · InnovationEval · 阅读原文
原始来源：Epoch AI · InnovationEval（epoch.ai）
发现渠道：AIHOT
Epoch 的 InnovationEval 让 Agent 改进 Qwen3-8B 的后训练方法，以强 GRPO 基线和人类论文 SDPO 为参照，在短答与编程任务上检验结果。主要测试中，校正到相近训练耗时后，最好的有效增益约为 SDPO 增益的 15%；这不是准确率，也不是“达到人类科研能力的 15%”。作者还检查了实验记录，发现挑选重复运行中的好结果、贡献解释过满等问题。因此，这项测试同时关心方案效果和结果如何得出。运行数量较少，后续模型又可能记住参考论文，限制了它对其他任务和模型的解释力。
可信度 65 · 重要性 84 · 新颖度 76
技术与主题
Agent 系统 · 评测与基准 · 训练与对齐 · Post-training · RL · GRPO · AI for Science · Benchmark
编辑评读
这里有两个不同的门槛：结果有没有改善，做法有没有新意。报告认为，表现较好的方案与已有工作相近。即使以后把它的效果复现得更稳，也不能因此补上创新性；那需要重新比较方法，而不是再跑一轮分数。
约 15% 的口径是在相近训练耗时下比较增益，它并不衡量为找到方案总共花了多少搜索成本。前者有助于看方法效率，后者影响科研工具是否划算。报告也讨论了预算问题，不能把尚未回答的成本比较，直接写成评测已经不公平。
反复运行本身并不是问题，稳定性就需要多次实验。问题是选出了最好的一次，却仍把它当作一般效果来解释。后续评测若同时公开全部运行、方案筛选规则和筛选后的独立复测，读者会更容易判断究竟改进了方法，还是只挑中了一个幸运结果。
需要留意
- 这是评测作者报告的结果；本期没有运行其环境。