Bowei Liu、Xinchen Zhang 等 · arXiv · 阅读原文
原始来源:Bowei Liu、Xinchen Zhang 等 · arXiv
发现渠道:Hugging Face Daily Papers
图像里颜色正确、位置错误,如果只给“全对或全错”的奖励,训练很难知道哪一步改善了。OmniVerifier-C1 是一个视觉检查模型:先把文字要求或环境规则拆成子问题,逐个判断,再将满足比例汇成连续分数。训练同时约束局部判断和整体评分,避免模型只猜对一个总标签。
它区分两种检查方式。普通文生图通常没有唯一正确图像,因此按要求逐项评分;在迷宫、4×4数独等规则任务中,作者额外提供正确终态图,让检查者直接比较生成结果与参考,省去自己先推导目标的步骤。这里的 pairwise 是“候选与参考状态”的比较,并非两张任意候选图的偏好投票。
以 Stable Diffusion 3.5 Medium 为例,200步强化学习后,GenEval 的组合要求得分从二元奖励方案的0.68到分解奖励的0.77;FLUX.1-dev 对应为0.70到0.79。规则任务也报告参考比较更稳定。实验使用16张 A800;它目前支持的是明确规则和可得参考的受控场景,还没有把开放现实环境都变成可验证问题。
可信度 65 · 重要性 76 · 新颖度 75
技术与主题
评测与基准 · 多模态 · 训练与对齐 · Visual Verification · Decomposed Rewards · Reference-based Evaluation
编辑评读
将部分正确保留下来是一个合理的训练改进:两个都没全对的图像,可能已经满足完全不同数量的条件,全部归零会丢掉排序信息。但论文关于理想排序的论证,先假设要求能够无损拆解、子问题能正确判定,并以满足项数定义质量。实际分解若漏掉一个关键关系,平均分仍可能上涨;“小错很多”与“一项致命错误”也未必适合等权合成。理论说明了更细反馈的潜力,没有自动验证分解器本身。
参考终态的收益也应归到它真正省掉的工作:目标状态推导。对于能从规则得到明确答案的数独,这是很强的监督;对于多条合法路径的迷宫或开放画面,则要辨认参考代表唯一状态,还是一种有效解。作者已把非唯一真值列为未来工作。因此我会先测“参考不同但都合法”的配对样本,再决定它适合训练进度奖励,还是能承担严格验收。项目讨论区找到的旧加载问题针对前代模型,不能移植为 C1 的失败报告。
需要留意
- 作者实验;规则世界评测有明确参考,不代表已解决多解或开放场景核验。