u/nos_66 · Reddit LocalLLaMA · 阅读原文
原始来源：u/nos_66 · Reddit LocalLLaMA（www.reddit.com）
一位 Reddit 用户已经准备了 20 道自定义推理题，想比较本地模型，却先遇到了评测规则怎么定的问题。他原计划每题最多尝试十次，只要答对一次就换下一题；还想记录生成速度、答对前的尝试次数，以及每次成功和失败分别消耗的 token。他同时犹豫是否有必要读完长推理，并考虑量化和上下文限制对比较的影响。帖子没有给出成熟榜单，而是把个人做评测时的具体选择摆出来：究竟要测偶尔能解出来，还是日常使用时稳定做对？
可信度 65 · 重要性 52 · 新颖度 62
技术与主题
系统与效率 · 评测与基准 · 推理能力 · LLM Evaluation · Reasoning · Quantization
nos_66
选句来自本次已保存的 Reddit RSS 正文。原帖页面本次未重新读通，不包含评论区；省略了游戏背景与其他段落。
编辑评读
十次里答对一次，可以衡量“给足尝试机会后能否找到解”。但这与日常问一次就拿到可用答案不同。如果必须由用户逐份辨认正确答案，还要把这部分工作算进去；否则模型看起来很能做，实际筛选仍全靠人。
他可以先把第一次结果和十次以内的结果分开，再记录所有尝试消耗的 token。提前固定规则后，较慢但稳定的模型，与较快却需要重试的模型，就有了可以比较的账。题目只有 20 道，反复尝试也没有增加题目的种类，结果更适合帮助他选自己的设备和模型，不宜直接扩成通用排行榜。