Ali Behrouz 等 · Google Research · 阅读原文
原始来源：Ali Behrouz 等 · Google Research
原始来源：Sleep 原论文 v2
原始来源：衍生原型状态说明
语言模型在对话里看过一段资料，并不等于以后还能记住。上下文窗口是临时工作空间，更新模型参数又可能干扰已有能力。Google Research 10 月 27 日介绍的 Sleep 框架，尝试把读取新信息和整理知识分成两个阶段；对应论文此前已公开，本次不是一篇刚发表的新论文。
活跃阶段先用快速短期记忆吸收当前内容。进入所谓“睡眠”阶段后，系统暂停接收新输入，把短期行为蒸馏进容量更大的参数记忆。方法结合沿模型自身输出路径进行的蒸馏与模仿学习，并利用低秩或专家模块组织更新。另一个“做梦”过程产生合成练习，经筛选与强化学习继续巩固。这里的睡眠是训练安排的比喻，不是模型产生意识，也不是自动重写整套学习程序。
论文给出了知识吸收和数学等任务的实验。以 Qwen3-8B 为基础、按每题 16 次采样计算平均正确率的数学评测中，Sleep 在 AIME 2024 上报告 79.2%，对照的 on-policy distillation 为 76.6%；AIME 2025 对应 69.0% 与 67.4%。增益来自特定基座、训练和采样条件。正文还有去除模仿或经验学习的消融，但不同设置并非每个指标都同向改善，不能把几组结果扩大成解决长期遗忘的通用结论。
可信度 65 · 重要性 83 · 新颖度 79
技术与主题
Agent 系统 · 基础模型 · 训练与对齐 · Continual Learning · Knowledge Distillation · Mixture of Experts
gopalv
回应原帖：查看原帖上下文
评论者用自己团队不同机制的记忆项目说明部署顾虑，并非复测Sleep。
忠实转述（非原句）：gopalv 说，他们从用户对不满意回答的纠正中提取跨会话经验，机制不同于论文所述的 token 层蒸馏。客户真正追问的是哪次会话导致了知识变化、谁作出修改；若只看到更新后的参数，很难回答。他的经验提示记忆需要保留来源，但没有验证 Sleep 的实验结果。
编辑评读
这项工作真正改变的是学习时间的分配。在线响应需要快，长期知识整理可以放到另一段计算中；把两者拆开，才有机会比较即时适应、整理成本与以后保留了什么。工程上的类比可以帮助理解，却不能直接把“给普通聊天机器人加一段夜间总结”视为同一算法。论文中的记忆确实涉及参数更新。
判断它是否值得继续跟进，不能只问睡眠后答对了多少新题。还应看旧知识保留、重复整理的成本，以及合成练习是否逐渐收窄到模型擅长的内容。一个新答案进入长期参数后，比保留在可删除的笔记里更难追溯；记忆来源和更新版本因而成为部署问题，而不是用拟人化名字就能带过的细节。
本轮检索找到一个加入内部表征检查的衍生原型，但其 README 仍称跨模型和多随机种子验证待做，不能当作原论文的独立复现。当前可借鉴的是分阶段整理与消融思路；是否在持续使用中划算，仍需相同数据、计算预算和旧任务集合下的长期比较。
需要留意
- 博客与论文为同一研究组证据；读取方法和实验段，未复现。衍生原型尚不构成完整独立验证。
核查依据
- 博客解释短期记忆向参数知识的巩固与合成练习；具体数学结果以配套论文方法和表格为准。
- Sleep 原论文 v2；正文限定了读取范围、配置及作者证据性质。
- 衍生原型状态说明；正文限定了读取范围、配置及作者证据性质。