长推理模型的成本不只来自参数量,也来自回答前生成多少思考 token。Bottlecap 的 ThinkingCap-gemma-4-26B-A4B-it 对 Gemma 4 的指令模型做微调,目标是在维持解题能力时缩短推理。它属于总参数约 260 亿、每次激活约 40 亿参数的模型;发布说明强调效率结果,但没有给出足以完整重建训练过程的配方。
作者用相同 BF16 精度、vLLM 评测环境和采样参数比较原版与微调版,并给每次回答相同的最大生成额度。十二项基准等权平均后,准确率从 75.18% 变为 75.03%,下降 0.15 个百分点;各项 token 降幅的平均值为 38.9%。这不是所有任务都少想 39%,也不是准确率完全不变:LongBench v2 的 token 减少约 69.1%、准确率增加 1.45 个百分点,AA-LCR 则下降了 4 个百分点。
另一个有意思的结果,是按作者的检测规则,重复循环比例从 3.64% 降到 0.76%,达到生成上限的比例也下降。这提示节省可能包含减少无效延长,而非单纯提前截断回答。其预算曲线显示,中间预算区间更能体现优势,足够宽松时两者趋近。不同任务使用多次采样,置信区间反映采样种子变化,不能覆盖用户任务分布变化。
本期未找到针对这个 Gemma 新版本的独立系统复测。社区里有人欢迎减少 PR 审查时的思考成本,也有人报告早先 Qwen 系列的 ThinkingCap 在自己任务上变弱;后者明确没有测试这次 Gemma,不能拿来当成新版本失败的证据。