前两天介绍的 Weight-Space Programming,把读取小网络参数、编写游戏策略网络和修改语言模型放在同一组实验里。Matthew Honnibal 的新批评针对读者可能从组合中得到的印象:这些结果是否都来自同一种“直接看权重就理解模型”的能力?他认为,实验之间提供的工具和反馈不同,不能这样串起来。
他逐项对照后指出,少数小网络实验直接把浮点权重交给模型,不允许运行网络;而 Qwen3.5-0.8B 数学改进实验提供 Python 环境、练习题和最多50批前向运行。前向运行指给网络输入、查看计算结果,不等于用梯度训练,但显然提供了额外反馈。本期回到原始文章第8项设置,确认作者明确写出了这些条件。
Honnibal 并不否认模型能完成有价值的机器学习工程工作。他反对的是把不同设置的成功,拼成模型拥有统一、深入的权重理解能力。讨论中也有人从实际开发角度回应:即便方法并非前所未有,让 Agent 帮忙完成以前做不好的修改,对他们仍然有用。这个分歧关乎新能力该如何命名,也关乎使用者从中能学到什么。