Nathan Lambert 在为自己的书补笔记时,推荐 score-centering 论文附录中整理训练—推理不一致修正方法的表格。他认为这是 GRPO 流行以来 RL 算法研究的重要方向;这是他的观察,不是对整个领域的统计。
追到原文后,表格确实按 token/序列粒度、概率比的截断或丢弃区间、作用于哪些优势值分类。背景是采样引擎和训练引擎并不完全一致,可能给梯度带来持续偏移。论文提出加性中心化修正,也可与重要性采样组合。阅读时要留意:实验将各修正项放在共同目标上比较,并未完整复现 DAPO 等算法的全部训练配方;它也刻意加大了部分失配条件来观察差异。