一位 Reddit 用户已经准备了 20 道自定义推理题，想比较本地模型，却先遇到了评测规则怎么定的问题。他原计划每题最多尝试十次，只要答对一次就换下一题；还想记录生成速度、答对前的尝试次数，以及每次成功和失败分别消耗的 token。他同时犹豫是否有必要读完长推理，并考虑量化和上下文限制对比较的影响。帖子没有给出成熟榜单，而是把个人做评测时的具体选择摆出来：究竟要测偶尔能解出来，还是日常使用时稳定做对？
持续追踪
持续追踪
一位 Reddit 用户已经准备了 20 道自定义推理题，想比较本地模型，却先遇到了评测规则怎么定的问题。他原计划每题最多尝试十次，只要答对一次就换下一题；还想记录生成速度、答对前的尝试次数，以及每次成功和失败分别消耗的 token。他同时犹豫是否有必要读完长推理，并考虑量化和上下文限制对比较的影响。帖子没有给出成熟榜单，而是把个人做评测时的具体选择摆出来：究竟要测偶尔能解出来，还是日常使用时稳定做对？