原始来源:相关原始说明 / 公开讨论
LocalLLaMA 用户 No_Issue_8224 提醒,讨论 Agent 记忆时,别把普通全文检索直接跳过去。他引用一个8月公开记忆榜:SQLite-FTS-Baseline 得41.79分、排在50项中的第22位,高于40.78的中位数。这里应保留“帖子引用的历史榜单”这一归属;本期找到基线仓库与榜单提交页,但没有重新计算这组分数和排名。
FTS5 是 SQLite 的全文索引,BM25 根据词在文档中的分布来排序。它可以保存原始消息,再按关键词找回相关片段,不必先把每次会话总结成新记忆。已读仓库将它包装为兼容评测接口的服务,并列出用户隔离、重复写入和即时搜索等测试。这解释了为什么一个简单方案也有实际价值:历史里若常出现准确的人名、命令或路径,保留原词可能就能满足很多查找需求。
作者正在保留自己曾经手工翻历史才找到答案的问题,准备拿来比较。他明确说,自己的对照还没有做完;评论里想把这套方法用于编辑器历史的人,也承认尚未测过自己的日志。帖子的有益主张是先建立可比较的起点,而不是已经证明全文检索能替代各种长期记忆系统。
可信度 65 · 重要性 68 · 新颖度 70
技术与主题
Agent 系统 · 评测与基准 · 基础模型 · 检索与知识 · SQLite FTS5 · BM25 · Agent Memory · Retrieval Baseline
No_Issue_8224
公开原帖;引用历史榜单,个人历史测试仍在准备。
忠实转述(非原句):他自己的历史记录常围绕确切名称、命令和路径,因此不想在评估之前就忽略全文检索。他在保存那些需要手工翻聊天记录才能回答的问题,计划以此比较;他尚未完成这项测试。
编辑评读
全文搜索对照能帮助分清,收益来自资料可查,还是来自新增的记忆机制。若复杂记忆系统优于“不提供历史”,收益可能只来自有资料可查,并不能说明摘要、向量或反思机制都不可缺少。加入原始消息加全文检索的对照,才能继续追问额外组件究竟改善了什么:同义表达的召回、跨会话整合,还是对陈旧事实的处理。
可以沿用作者收集真实找答案问题的做法,再为每题保留当时可见的历史和正确出处,比较找到答案的比例、耗时及误用过期信息的情况。这个练习是编辑建议,本期没有执行。准确关键词较多的命令历史可能适合 FTS5;需要理解隐含偏好、处理改口或综合多次会话时,关键词匹配的优势未必延续。把这些题型分开,比用一个榜单均分宣布某种记忆架构胜出更能帮助实际选型。