Nathan Lambert · X 阅读线索 · 阅读原文
原始来源：Martin Marek、Max Ryabinin · Together AI
获取渠道：FxEmbed · 固定程序公开快照
Nathan Lambert 在为自己的书补笔记时，推荐 score-centering 论文附录中整理训练—推理不一致修正方法的表格。他认为这是 GRPO 流行以来 RL 算法研究的重要方向；这是他的观察，不是对整个领域的统计。
追到原文后，表格确实按 token／序列粒度、概率比的截断或丢弃区间、作用于哪些优势值分类。背景是采样引擎和训练引擎并不完全一致，可能给梯度带来持续偏移。论文提出加性中心化修正，也可与重要性采样组合。阅读时要留意：实验将各修正项放在共同目标上比较，并未完整复现 DAPO 等算法的全部训练配方；它也刻意加大了部分失配条件来观察差异。
可信度 65 · 重要性 76 · 新颖度 78
技术与主题
系统与效率 · 训练与对齐 · Off-Policy RL · Importance Sampling · Score Centering