Ben Congdon / Agentic Monitoring · 阅读原文

原始来源:Ben Congdon / Agentic Monitoring

Ben Congdon 讨论的是线上软件发布或推送配置后的监控:一次改动进入系统后,怎样及时发现它引入的退化。他从 2023 年起就在接触这类工作,长期遇到两难。先服务运维成熟的团队,原有告警已能守住许多问题,新系统主要省去杂务;若一下覆盖所有服务,只盯少数通用健康指标,又容易把正常波动当异常,造成告警疲劳。有效监控还依赖团队标好变更、定义信号并持续维护。

他的切入点是让模型为每次变更提出具体检查办法。原型先让 Agent 阅读服务代码、理解配置怎样被使用,写出监控方案;固定执行器持续运行方案;信号触发后,再交给 Agent 查日志和相关证据,必要时升级给人处理。作者试过纯 Agent 循环,认为“模型写规格、程序执行规格”能得到更干净的信号,并减少 token 消耗;降噪规则、提示和有标注的评估集仍需专门建设。

Congdon 乐观的理由,是模型能够长时间重复查询,并沿几条可能原因并行调查,覆盖人无暇逐一查看的变化。他也承认,读得更快不总能更快发现问题:熟悉系统的工程师可能凭经验直接找到关键信号。文章主要是原型经验与设计判断,自动回滚、修复和更广部署仍属于后续设想。下方保留作者及读者的具体论述,其中大型系统的资料关联困难,是对扩大覆盖范围的实质追问。

可信度 65 · 重要性 85 · 新颖度 78

技术与主题

Agent 系统 · 评测与基准

Ben Congdon

观点原文

作者谈原型及后续预期;以下保留其主要论证和限定。

忠实转述(非原句):他看好 Agent 持续查日志、按变更生成查询和并行调查的能力。不过,纯 Agent 循环并非他试过的最佳形态;让模型写监控规格、确定性系统负责执行,得到的信号更干净、token 用量更低。他也承认,熟悉系统的人仍可能更快找到关键线索。文章主要讨论只读监控,自动采取修复行动则是下一步设想。

nevon

观点原文

回应原帖:查看原帖上下文

HN 读者从大型系统运维规模提出异议。

忠实转述(非原句):每天数 TB 日志、数千环境和仓库、数十万条流水线,是他面对的尺度。在这种情况下,先切分和关联资料就很难;即使知道 p95 延迟升高,也未必能找对负责的代码仓库。把所有资料都交给 Agent,并不等于解决了定位问题。

skyfine

观点原文

回应原帖:查看原帖上下文

另一位读者描述自己的安全事件监测,未给出控制实验。

忠实转述(非原句):经历安全事件后,他开始让 Agent 持续查看相关事件,称它发现了一些常规系统未发现的异常。当前行动范围仍只是发送邮件;他正在考虑让系统做有限的锁定操作。

编辑评读

这篇文章提供了一个可以尝试的监控单位:一次明确的代码或配置变更。和让模型无限巡查全部日志相比,变更先给调查划出对象,也提供“为什么此时要看这个指标”的理由。模型负责把代码含义转成检查方向,固定执行器负责重复执行,异常再触发开放调查。这种分工让持续运行的成本与临时调查的成本能够分别核算,也便于发现是监控条件写错了,还是调查判断错了。

作者强调两类用户的差异,值得在试用前保留。成熟团队可能更需要减少重复检查和缩短调查时间,基础薄弱的团队则可能首先缺少可靠指标与变更记录。同样增加一个监控 Agent,前者看到的是省下多少人工,后者还要看漏掉了多少故障。若只比较生成的告警数量,两种价值都可能被误判。

HN 读者提出的每天数 TB 日志、数千环境与仓库,指向的也不只是上下文容量:一个延迟变化究竟关联哪个服务、哪个版本、哪次改动?没有这些对应关系,查更多日志可能只增加调查路径。编辑建议从变更记录完整的一批发布开始,对照误报、漏报、发现时间和人的处置时间,再扩大覆盖。告警最终要交给具体的人或有边界的动作执行器,作者目前的只读原型不能替这一环节作保证。

需要留意

  • 作者关于覆盖与成本的预期未附充分测量条件;本稿不把这些估计当作实际部署效果。
  • 评论中的安全监测为个人经验,不证明自动修复已经可靠。

核查依据

所属事件

收录记录