2026-11-04 · 当时的记录
昨天介绍的 Weight-Space Programming 把几类工作放在一起：读出小网络学过什么、手工构造或修补网络，以及借助 Python 修改语言模型。本期新增的是 Simon Willison 的独立尝试和对实验条件的批评，而非把原来的数学分数再次当作新进展。
Simon 取用作者公开的小游戏网络权重与同样的提示，在自己的笔记本上运行 Qwen 3.8 27B。这里的输入是约1.7万个浮点权重及网络结构，任务是判断网络受训于哪种游戏；提示描述输入通道与动作，但没有列出游戏名称供选择。他报告认出了 PacMan、Pong 和 Breakout，却把 Freeway 错判成 PacMan。单次成功尝试需要约46至65分钟，默认8192上下文不够，必须扩展窗口并延长超时。三次正确、一处失败说明这项狭窄能力值得复查，但样本太少，不能当作稳定正确率。
Matthew Honnibal 则指出，原报告中的直接读浮点数、调用工具分析参数和带反馈编辑权重，不是同一个实验条件。Qwen 数学改善尤其涉及工具与反馈，并与解除重复推理故障有关。Simon 的复现增加了“小网络原始权重可以被其他模型分析”的证据，没有复现语言模型权重修补，更没有证明模型已普遍理解大型网络。
本次记录的观点：Matthew Honnibal · Neko Itosu · @WHMaoXian · Haoyu · @cjantwhy
回到当期正文 ↗
查看依据
原文 · 原始依据 · 原始依据 · 原始依据 · 原始依据 · 原始依据2026-11-03 · 当时的记录
调整模型通常要准备训练数据，再用梯度更新参数。MIT CSAIL 团队尝试另一种路径：让强模型查看一个小模型的权重，借助 Python 分析其行为，再直接写入修改。他们称之为 Weight-Space Programming。实验从辨认小网络学过哪种游戏，到编写游戏策略、编辑语言模型；不同实验允许的工具和反馈并不相同。
最值得细读的是 Qwen3.5-0.8B 开启思考模式的数学实验。基线经常陷入重复思考，耗尽输出长度。编辑者获得练习题和受限的前向调用预算，即让目标模型运行并观察输出。它从两个前馈层的部分权重中移除与重复行为相关的方向。这些层负责对中间表示做非线性变换。修改涉及约13.1万个权重，占总量0.016%。在50次前向调用预算下，作者报告 MATH-500 从7.9%升至48.1%，触及 token 上限的比例从93.0%降至33.1%。
这里的“一次调用”可以包含一批样本，不能理解为总共只看了50道题；也不能把这项实验称作完全没有试错。较少调用预算的收益明显更小。后续换到较少重复的 Gemma 270M，50次预算下数学分数仅从6.8%到7.0%。结果展示了定位并修补特定失效的新能力，尚未证明这条路线可以普遍替代训练。
本次记录的观点：Rikiya Takehi
回到当期正文 ↗
查看依据
原文 · 原始依据 · 原始依据