Rikiya Takehi 等 · MIT CSAIL · 阅读原文
原始来源：Rikiya Takehi 等 · MIT CSAIL
发现渠道：Rikiya Takehi · X 原帖
调整模型通常要准备训练数据，再用梯度更新参数。MIT CSAIL 团队尝试另一种路径：让强模型查看一个小模型的权重，借助 Python 分析其行为，再直接写入修改。他们称之为 Weight-Space Programming。实验从辨认小网络学过哪种游戏，到编写游戏策略、编辑语言模型；不同实验允许的工具和反馈并不相同。
最值得细读的是 Qwen3.5-0.8B 开启思考模式的数学实验。基线经常陷入重复思考，耗尽输出长度。编辑者获得练习题和受限的前向调用预算，即让目标模型运行并观察输出。它从两个前馈层的部分权重中移除与重复行为相关的方向。这些层负责对中间表示做非线性变换。修改涉及约13.1万个权重，占总量0.016%。在50次前向调用预算下，作者报告 MATH-500 从7.9%升至48.1%，触及 token 上限的比例从93.0%降至33.1%。
这里的“一次调用”可以包含一批样本，不能理解为总共只看了50道题；也不能把这项实验称作完全没有试错。较少调用预算的收益明显更小。后续换到较少重复的 Gemma 270M，50次预算下数学分数仅从6.8%到7.0%。结果展示了定位并修补特定失效的新能力，尚未证明这条路线可以普遍替代训练。
可信度 65 · 重要性 89 · 新颖度 88
技术与主题
评测与基准 · 基础模型 · 推理能力 · 训练与对齐 · 权重编辑 · 激活方向 · 重复输出 · 前向反馈
Rikiya Takehi
作者在公开原帖介绍实验；已追到博客和同团队日志。
忠实转述（非原句）：Takehi 强调，他们要求 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重，修复重复推理；数学与指令遵循都随之改善。他把无需梯度的读取和写入视作新的操作方式。原帖中的倍数是这些基准结果的相对变化，不能脱离基线失效和实验反馈预算。
编辑评读
最有启发性的变化，是把模型暂时当成一个可以诊断的程序：先找它为什么不能完成已有任务，再对这个失效提出局部修改。对于反复输出直到预算耗尽的小模型，即使知识和推理资源没有显著增加，让答案有机会正常结束也可能大幅提高测得的通过率。因此，这个结果首先改变的是“模型必须重新训练才能修复行为”的判断。
但改动比例小，不等于影响范围小。一个方向可能同时参与其他任务，数学得分上升也不能自动保证原有行为不受损。要判断这是否超出故障修补，可以把重复型失败与正常结束但答错的失败分开，再检查未参与编辑的任务、不同采样参数和回归样本。若收益主要集中在第一类，就应把方法定位为故障修补；若第二类也稳定改善，才有更强的能力增长证据。这是建议的验证，本期没有执行。
需要留意
- 博客和日志来自同一团队；未取得独立同条件复现。
- 论文中的零工具实验与允许Python、前向反馈的实验必须分开。
- 日志仓库说明未收录早期提示版本的试跑；没有梯度训练，不等于没有强模型调用与探索成本。