# 边听边做、空间记忆与长会话服务：三个值得继续试的方向 2026-10-24 · 独立研究笔记 本期从全库方向入口、原始材料与既有观察中缩小候选，没有沿用周报四条精选的边界。三个方向分别面向语音工具状态、视频的空间记忆和推理服务资源，所需数据与实施规模不同；共同要求是先说明已有机制做到了哪里，再选择一个能够实际比较的切口。 语音方向已有明确的推测提交近邻，适合做集成验证；GEAR 的完整推理代码与检查点仍待发布，先限定为几何寻址局部复现；服务方向已有缓存与准入机制，优先制作完整会话的回放比较。每条都保留原始失败、启动条件与暂不承诺的部分。它们是候选工作，不是本期已经完成的实验，也不以证明新颖为唯一价值。 ## 边听边做之后，把过时动作留在提交之前 待验证的工程方向 · 流式语音 / 工具执行 / 状态修正 把已有的推测执行与提交机制接到语音工具链上，先处理一句话末尾才出现的约束。目标是保留等待时间的收益，同时避免已经失效的动作继续改变业务状态。 ### 他们已经做了什么 Heartbeat Thinking 在用户说话期间周期性读取局部转写，由 Thinker 提前调用工具；说话结束后，Responder 根据完整请求与已完成结果作答。它不会因为每次新转写就取消所有计算。这能利用原本的等待时间，但已经完成的工作也可能对应旧意图。论文附录给出一个具体失败：系统先把约 100 美元的咖啡机加入购物车，随后听到 50 美元预算并重新搜索，购物车却仍保留旧商品。后一次搜索正确，并没有撤销前一次动作。 近邻工作 Speculative Interaction Agents 已经把有副作用的工具与只读工具分开，支持修改、取消待执行调用，并让写操作等待最终确认信号。它还处理被取消调用的依赖。这不是可以重新宣称的算法发明。Sierra 的字段采集实验从另一端补充：完成核验对话后，仍应检查工具里真正留下的字段。 ### 为什么把这些线索放在一起 全库中的 Dessa、Heartbeat Thinking 与既有“检查是否走到结果”的观察，指向同一个实际需求：更自然的实时交互，不能只靠缩短首次回答时间。Dessa 的纯语音建模探索的是另一种对话能力，不能直接充当工具写入正确性的证据；真正支撑本候选的，是 Heartbeat 的晚到约束失败与 SIA 已有的提交机制。 由此值得做的是集成和比较：在一个现有语音工作流里，哪些可提前完成的读取仍有用，哪些写入必须等待更新后的请求？先把问题限制到购物车或预约草稿这类可模拟状态，可以同时观察等待与最终结果，而不必先训练新的语音模型。 ### 可以往哪些方向走 第一步可用固定的分段转写回放，把“买咖啡机——预算五十美元”“订周五——不，是下周五”等修正安排在不同位置。比较等整句结束、现有提前调用、提前读取但延后写入三种方式，固定模型、工具延迟和任务要求。这里建议的比较尚未运行。 给每次工具调用关联所依据的请求版本，已失效的读取结果不得直接触发写入；待提交动作要能被替换，依赖它的后续动作也随之作废。最后同时检查正确购物车或预约状态、完成等待时间、丢弃计算与补偿工作。若延后写入消除了大部分时间优势，或者工具有无法分类的隐藏副作用，就应缩小适用范围，而不是只展示最快成功例子。 ### 值得做在哪里 工程价值在于把“用户还没说完”变成执行器能够处理的状态，而不完全依赖模型记得撤销自己。提前查询库存、检索资料仍可能节省等待，最终写入的责任则更明确。这也有助于定位错误：究竟是转写有误、意图更新没被理解，还是正确的新意图没有改变工具状态。 值得改变的判断是：纠正了下一句回答，不等于纠正了已经发生的动作。只要实际工作流有晚到约束，这种检查就有价值；是否能在不增加太多等待的前提下实施，仍需上述回放说明。 ### 从哪里开始看 先读 Heartbeat Thinking 的方法与附录 D 中购物车案例，再读 SIA 第 3.2 节对安全工具、取消依赖和提交点的定义。准备一个仅在本地模拟的购物车和十来段含晚到约束的文本流，就能先检验状态转换；音频识别错误留到第二阶段加入，避免第一步同时改变太多因素。 把 Sierra 的最终字段精确匹配作为验收思路，而不是把它的通过率当成本任务基线。若已有执行框架完整支持相同语义，应直接复用，并把工作定位为语音集成及复测。 ### 暂时不往哪里走 本候选没有运行实验，不宣称新的提交算法，也不把说话结束当作永久授权。先处理模拟、可控工具；真实业务的后续改口仍需另有撤销或补偿语义。 ### 回看线索 - [本周语音精选](https://lcbreathe.github.io/ai-digest/reports/weekly/2026-W43.html#weekly-events-3) ### 来源与查新记录 - [Heartbeat Thinking · 方法与失败案例]() · 2026-10-24 · 已读方法、实验及附录 D/E；购物车案例是作者轨迹，不是本期复现。 - [Speculative Interaction Agents · 既有提交机制]() · 2026-10-24 · 第 3.2 节已覆盖副作用工具延后、修改调用与依赖取消；本候选定位集成。 - [Sierra τ-Entity · 最终字段检查]() · 2026-10-24 · 核验话术不等于存储结果正确；测试与本候选工作负载不同。 - [Block Dessa · 纯语音方向入口]() · 2026-10-24 · 用于方向比较，不作为工具状态可靠性的证据。 ## 先复现“去哪里读记忆”，再尝试重建整个场景 局部机制复现候选 · 视频生成 / 空间记忆 / 几何寻址 GEAR 把估计几何用作历史图像的地址，而把外观留在逐帧特征里。完整推理代码尚待发布，现阶段可先复现对应关系与遮挡过滤，观察几何错误怎样进入记忆读取。 ### 他们已经做了什么 长视频生成在相机绕回原处时，容易忘掉先前的场景。GEAR 保存历史帧的潜变量和相机信息，再用每帧估计深度建立局部网格，将历史与目标视角投到同一局部几何上，找到目标图像块应该读取的历史图像块。注意力随后只读取这些匹配的特征，减少在越来越长的历史里盲目搜索。 它没有把所有外观融合成一个永久三维场景，但也不是完全没有全局状态。Invisible Octree 持续积累粗粒度可见性信息，过滤虽能投影、实际却被遮挡的对应。项目页展示了长轨迹和回访效果；截至本次核查，仓库清单中的推理代码与四步检查点仍未勾选发布。因而现在不能承诺下载即复现作者整套生成结果。 近邻 Lyra 2.0 已经保留逐帧几何，避免将它们融合成单一全局点云，并把对应坐标与深度注入生成模型。GEAR 更具体的差别是让对应关系直接限定每个目标图像块能读取的历史特征。因此“几何只用于寻址”不应笼统写成首次出现；局部复现应比较读取方式和可见性过滤。 ### 为什么把这些线索放在一起 这是全库视觉与知识记忆方向中的一条独立线索，不依赖周报的报表或安全选题。它值得追问的是，记忆系统需要准确存下完整世界，还是只需要足够可靠地指向可用的历史证据？GEAR 与近邻都分开保存外观与几何；本候选关注它怎样直接选择历史特征，并将对应错误与生成错误分开研究。 不过，不能把论文中的设计优势直接外推成任何带记忆 Agent 的通用方法。它依赖相机、深度与视角对应关系；文本知识没有同样的空间结构。更近的延伸，是在重复经过同一静态场景时，检查哪些局部深度错误会被过滤，哪些会将错误内容送进生成器。 ### 可以往哪些方向走 在完整模型发布前，可从公开或自有的静态场景 RGB-D 序列开始，只实现逐帧局部投影、图像块对应缓存和可见性过滤。RGB-D 指同时具有彩色图像与深度的记录；它能提供比单目估计更明确的几何参照。用相同相机路径比较不筛选历史、只做几何对应、再加入遮挡过滤三种读取方式，记录匹配到错误表面和遗漏可见内容的情况。 随后有控制地加入深度偏差或遮挡变化，观察错误是局限在当前读取，还是通过持续更新的可见性状态扩散。这里提出的是局部机制实验，不等于视频质量复现。等官方代码与检查点可得，再对齐其数据、训练退化与生成设置；否则无法把前端改进归因为最终视频更好。 ### 值得做在哪里 这种复现的价值是把“长时记忆是否有效”拆成可检查的问题：地址是否指对、历史内容是否可用、生成器是否采用。即使最终不训练视频模型，也能获得一个可视化的几何错误诊断工具，帮助判断该改深度、可见性更新还是注意力读取。 对研究而言，最有价值的反例可能是局部对应看似正确、累积的遮挡判断却逐渐排除了正确历史。找到这种失败才能说明分开保存外观与地址究竟解决了什么、又把哪种责任留下来。 ### 从哪里开始看 先读论文第 3.1—3.3 节和下图，将每个箭头对应到需要的输入、缓存与输出；再核对仓库发布清单。第一轮只选择带有回到原视角的短静态序列，保存被接受与被拒绝的对应图像块，让人能直接看见判断原因。 若拿不到有可信相机和深度的序列，应先解决数据条件；不要用视觉上好看的演示代替对应关系检查，也不在代码未发布时把结果称为官方复现。 ### 暂时不往哪里走 本期只核对论文方法、项目页和仓库发布状态，未训练或运行模型。动态图景、错误相机位姿以及完整视频质量均不在第一轮局部复现的承诺内。 ### 配图 GEAR 原始方法图：先用逐帧几何建立历史图像块地址，再用可见性过滤，最后把对应历史特征送入生成过程。左侧场景示意仅作视觉参照，不表示融合后的永久外观记忆。 Zesong Yang 等，GEAR 作者项目页；对应论文 CC BY 4.0。 · [原文方法图出处]() [查看本期高清配图](https://lcbreathe.github.io/ai-digest/reports/ideas/2026-10-24.html#idea-geometry-address-frontend-v1) ### 来源与查新记录 - [GEAR · 论文 v1]() · 2026-10-24 · 重点读 3.1—3.3 节：局部几何寻址、Invisible Octree 与稀疏历史注意力。 - [GEAR · 作者项目页]() · 2026-10-24 · 方法图和回访演示；演示不是独立复测。 - [GEAR · 作者仓库]() · 2026-10-24 · 核对 README 任务清单：推理代码和四步检查点尚未发布。 - [Lyra 2.0 · NVIDIA 论文第 4.2 节]() · 2026-10-24 · 读取搜索索引返回的第 4.2 节原文段落，并与 GEAR 第 2 节交叉核对；PDF 直接下载 403、猜测的 arXiv v2 HTML 404，未读全文。 ## 用完整会话评价缓存与排队，而不只看解码速度 待验证的工程方向 · 推理服务 / KV 缓存 / 多租户调度 在已有推理服务之上回放长短混合会话，检验前缀缓存、准入和公平等待怎样共同影响完成率。先复用已有控制机制，再决定是否需要新调度策略。 ### 他们已经做了什么 llm-d 1.0 在 Kubernetes 上组织推理服务，围绕底层推理引擎提供请求路由、缓存复用和运行管理。IBM 的发布说明强调多租户服务质量、流量控制与生产运维；这些属于作者发布说明，本文没有运行部署，也未据此核实宣传中的成本倍数。链接到具体流量控制说明的文档本次返回 404，配置细节仍需补查。 Agens 1.3.5 的变更记录给出了更窄但更具体的压力场景：旧版在重度长上下文负载下可能因 KV 空间不足中断回答。新版在接纳请求及推进计算时检查运行中请求是否仍能完成，并增加等待、会话感知驱逐和兼顾短请求与老请求的预填充安排。KV 缓存保存已经计算过的注意力中间状态；复用它能省计算，长期占着它也会影响其他会话。这些改动与作者测试值得复查，仍不是独立生产证明。 ### 为什么把这些线索放在一起 全库成本观察一再提示，局部省下的 token 不一定等于完成一次任务更便宜。llm-d 的方向入口把问题扩到分布式服务，Agens 的最新记录则给出一个实际失败：请求已开始，却没有足够空间把它做完。两者规模不同，不能直接比较宣传数字，但都需要在多个会话相互影响时评价。 这里的机会是一个可复用的回放与诊断工具。比起立刻设计更聪明的缓存算法，先明确谁因为缓存局部性受益、谁因为长会话等待、哪些任务被中途放弃，更容易发现值得改变的策略。 ### 可以往哪些方向走 构造同一组长文档问答、多轮 Agent 与短聊天轨迹，固定模型、硬件、最大输出和到达序列。先比较现有默认配置与项目已经提供的缓存、准入或公平性选项，分别记录从到达到完成的时间、首 token 前等待、中断、重试和每类会话的成功完成数。将缓存命中与被迫等待放在同一条请求轨迹上，避免用总吞吐掩盖某类会话一直排不到。 再改变一个因素，例如重复前缀比例或长会话集中到达程度。若改善只来自缩短允许输出，或把失败移成无限等待，就不能算相同工作量上的收益。只有已有机制仍表现出稳定缺口时，再提出调度修改，并与最简单的限额或分队列方法比较。本期尚未执行这些回放。 ### 值得做在哪里 它能帮助部署者决定需要更多显存、更合理的准入，还是不同的工作负载隔离，而不是看到超时就先换模型。对提供长会话服务的团队，完整完成率和尾部等待往往比单流最快速度更接近用户体验。 方法也容易迁移：把缓存看成有使用者和占用时间的共享资源，同时记录省去的计算与别人付出的等待。最终是否划算，要在相同任务要求下把重试和未完成请求算进去；工具不能替团队预先宣判某个引擎更好。 ### 从哪里开始看 先读 Agens 1.3.5 的长上下文负载、会话驱逐和请求日志字段，再核对实际可用的 llm-d 发布版本与配置文档。可以从单机、少量并发和固定文本轨迹开始，保留请求级时间戳与最终状态；分布式扩展留到数据表明确实显示瓶颈时。 若设备不足以运行目标模型，就先制作与审核回放格式和统计定义，不把模拟等待结果当成真实吞吐。恢复可访问的官方流量控制文档，也是进入 llm-d 实测前的必要准备。 ### 暂时不往哪里走 这是跨已有机制的工程评价方向，不主张提出新的公平调度算法。Agens 与 llm-d 的硬件、模型和规模不同，不直接横比其作者数字；本期未部署服务或测量性能。 ### 回看线索 - [本周复用与成本观察](https://lcbreathe.github.io/ai-digest/reports/weekly/2026-W43.html#weekly-connections-0) ### 来源与查新记录 - [IBM Research · llm-d 1.0]() · 2026-10-24 · 已读发布说明；具体 flow-control 文档返回 404，未据此确认配置或成本优势。 - [Agens Engine · 1.3.5 变更记录]() · 2026-10-24 · 已读请求准入、KV 池、会话驱逐和公平预填充说明；数据为作者测试。 ## 暂不投入的方向 从机器人 Recursive Harness Distillation 直接推到通用在线自改进：已读原始笔记，真实机器人环境与训练资源条件和上述候选差异较大；本次未完成最新代码、执行安全与独立复现核查，暂缓立项。 重新提出安全工具延后提交算法：SIA 已明确实现副作用分类、调用修改与依赖取消；保留语音集成机会，不把同一机制重新包装成首创。