Samuele Giampieri · arXiv / Cortex · 阅读原文
原始来源：Samuele Giampieri · arXiv
发现渠道：Hugging Face Daily Papers
Cortex 从开发会话中保存修复前状态、请求与检查，再为反复出现的纠正提出一条技能或规则，交替运行有无该条目的任务。它记录规则是否进入上下文，并检查净收益与单任务退步。在作者构造的仓库、Claude Haiku 4.5和4次评估中，四类规则任务的保留测试平均提高55.0个百分点，95%区间为34.1至74.1；普通缺陷对照变化很小。收益主要来自自动加载的规则，不能直接推广到真实仓库。
可信度 65 · 重要性 79 · 新颖度 77
技术与主题
Agent 系统 · AI 编程 · 评测与基准 · Agent Skills · Paired Evaluation · Context Routing
Samuele Giampieri
论文作者解释实验的失败与适用范围；同作者仓库和HF评论不计独立来源。
忠实转述（非原句）：作者明确区分没有保留有害候选与能够识别伤害；在真实项目中反复纠正太少，循环没有学到东西。他也指出，版本历史可能让回放读到先前修复。
编辑评读
这项方法最有用的地方，是把“写了规则”和“模型读了规则”拆成两个观测。列表里出现一个技能名称，模型仍可能从不打开正文；若只看成功率变化，就容易把抽样噪声记到技能头上。作者还重复测同一套规则，展示即使不改任何内容，两批运行也会有差异。因此，对照应比较相同任务上的变化，重复运行不能算成新增任务数量。
有害候选的结果尤其值得细读。没有保留有害条目，并不意味着识别出了其危害：未打开的技能没有实际产生作用，而初筛专挑失败任务，未充分检查原先成功的任务会不会被破坏。真实项目的空结果、较强模型上较小且区间跨零的收益，也都限制了“自动积累规则就会持续变强”的解释。
我更愿意把它当成一套可审计的局部实验设计：固定模型、仓库和任务，先问规则是否生效，再问哪类工作收益、哪类退步。下一步最有价值的验证，是把已有成功任务放回有害候选测试，并隔离可泄露旧修复的版本历史。是否值得保留规则，最终还要与重复运行的账单一起比较。
需要留意
- 合成仓库与脚本扮演的开发者；真实仓库没有学出新规则。
- 有害候选测试未证实能识别伤害；论文说明版本历史仍可能泄露信息。
核查依据
- Cortex作者在合成仓库、Haiku4.5和四轮评估报告规则任务+55.0个百分点；有害候选检查未证明能识别伤害。
- Cortex作者在合成仓库、Haiku4.5和四轮评估报告规则任务+55.0个百分点；有害候选检查未证明能识别伤害。