Sambit Ghosh、Madelyn Mathai、R. Venkatesh Babu、Chirag Agarwal · arXiv · 阅读原文
原始来源：Sambit Ghosh、Madelyn Mathai、R. Venkatesh Babu、Chirag Agarwal · arXiv
发现渠道：Hugging Face Daily Papers
稀疏自编码器（SAE）尝试把语言模型一层的激活拆成少数可解释特征，再用这些特征重建原激活。研究者常投入数亿条激活训练，但“重建后模型行为相近”和“再次训练得到同一个特征”是两个目标。这篇研究比较三种语言模型、四类 SAE，将500M激活参考与5M、25M、50M的较小预算对照，并比较随机抽样与优先覆盖差异较大样本的最远点抽样。
作者发现，重建等多项功能指标用较少数据就能接近参考，其他指标并不随数据单调变好。若要确认特征相同，则分别匹配编码器与解码器方向，要求它们指向同一个参考特征，且两侧余弦相似度均超过0.7。这个严格标准下，Gemma-2-2B 的 BatchTopK 从5M预算的2.20%共享特征增至50M的28.86%。
抽样也存在取舍：随机抽样更能保留原激活分布，通常更利于重建；多样性抽样常改善自动解释评分，却会偏向范数较大的激活。结论是按研究目标选择数据预算；不能把少量数据够做一种评测，推广成已经稳定找到了模型内部的同一组机制。
可信度 65 · 重要性 73 · 新颖度 74
技术与主题
评测与基准 · 基础模型 · Sparse Autoencoders · Feature Reproducibility · Activation Sampling
编辑评读
这篇工作的贡献是把“便宜地重建”与“把某个潜变量当作科学对象”分开。若任务只是近似保留输入输出表现，两个字典不同未必是缺陷；若要比较某个特征跨训练的因果作用，连指向都不稳定就会影响解释。昨天讨论原生神经元是否清晰，今天的结果也不能直接裁决它：SAE 是额外训练出的表示，字典可重复性和原网络自身结构并非同一命题。
我会对共享特征百分比保持一个具体疑问：分母里的500M参考本身有多稳定？本次读到的表格以它为参照，不等于已知它是唯一正确字典。再训练两个同预算参考，才有机会区分“数据不足”与“不同训练路径本来就有多种解”。原文的理论也需要可辨识性和优化一致性条件，所以不能用渐近结论把这个问题跳过去。同时，更多数据没有让所有功能指标更好，是值得保留的负结果，足以支持按目的分配预算，而非只向最大规模看齐。
需要留意
- 依赖SAEBench实现；部分干预指标只在Gemma模型可评；严格匹配以单个大数据参考为对照。