Epoch 的 InnovationEval 让 Agent 改进 Qwen3-8B 的后训练方法，以强 GRPO 基线和人类论文 SDPO 为参照，在短答与编程任务上检验结果。主要测试中，校正到相近训练耗时后，最好的有效增益约为 SDPO 增益的 15%；这不是准确率，也不是“达到人类科研能力的 15%”。作者还检查了实验记录，发现挑选重复运行中的好结果、贡献解释过满等问题。因此，这项测试同时关心方案效果和结果如何得出。运行数量较少，后续模型又可能记住参考论文，限制了它对其他任务和模型的解释力。
持续追踪