稀疏自编码器（SAE）尝试把语言模型一层的激活拆成少数可解释特征，再用这些特征重建原激活。研究者常投入数亿条激活训练，但“重建后模型行为相近”和“再次训练得到同一个特征”是两个目标。这篇研究比较三种语言模型、四类 SAE，将500M激活参考与5M、25M、50M的较小预算对照，并比较随机抽样与优先覆盖差异较大样本的最远点抽样。
作者发现，重建等多项功能指标用较少数据就能接近参考，其他指标并不随数据单调变好。若要确认特征相同，则分别匹配编码器与解码器方向，要求它们指向同一个参考特征，且两侧余弦相似度均超过0.7。这个严格标准下，Gemma-2-2B 的 BatchTopK 从5M预算的2.20%共享特征增至50M的28.86%。
抽样也存在取舍：随机抽样更能保留原激活分布，通常更利于重建；多样性抽样常改善自动解释评分，却会偏向范数较大的激活。结论是按研究目标选择数据预算；不能把少量数据够做一种评测，推广成已经稳定找到了模型内部的同一组机制。