Vercel Labs · agent-desktop · 阅读原文
原始来源：Vercel Labs · agent-desktop
桌面 Agent 需要先知道屏幕上有哪些可操作对象。agent-desktop 提供一套命令行接口，主要读取操作系统的可访问性树：应用向系统暴露的按钮、输入框、名称与状态等结构。它把这些信息交给模型，再用原生可访问性操作执行动作；截图可辅助观察，但不是唯一的定位依据。
工作流程是先取得界面快照（snapshot），拿到与这次快照绑定的元素引用，再点击、填写或向下查看局部子树。界面变化后要重新观察，过期或含糊的目标会返回结构化错误。这样，模型能依据“这个窗口中的这个控件”行动，而不只是猜一个屏幕坐标。默认的无前台输入方式不主动抢焦点或模拟鼠标键盘；需要更广泛输入时另行选择对应模式。
概念文档特别区分 Known、Absent、Unknown：确定知道、确认不存在、没有读到可靠答案。读状态失败不能被当作按钮确定未禁用。项目覆盖 macOS、Windows、Linux，但各平台依赖和支持动作有差异，应用本身也必须暴露有用的信息。README 与协议设计给出了可实施路径，尚不能据此宣称跨应用成功率优于视觉 Agent。
可信度 65 · 重要性 77 · 新颖度 73
技术与主题
Agent 系统 · AI 编程 · 可访问性树 · 快照引用 · 三态证据 · 桌面自动化
lahfir
项目协作者10月18日记录macOS应用退出期间的清单超时，问题已于10月31日关闭。
忠实转述（非原句）：作者记录了应用正在退出时，进程内重复读取清单仍持续失败，而稍后新启动一次命令可以成功的现象；他提出运行循环未刷新旧记录的可能解释，并明确写成尚待确认的线索。这份记录展示了瞬时界面状态的工程难点，不能作为当前版本仍有该故障的证据。
编辑评读
这里最值得借鉴的是失败信息的设计。对自动化来说，“没有这个属性”和“现在没读到这个属性”可能需要完全不同的下一步。若二者都变成false，模型很容易把未知当作允许操作；保留Unknown，才可能让上层决定重试、缩小观察范围或改用其他信息。这个思想也可用于API探测和工具调用，不限于桌面。
另一个容易忽略的问题是身份随时间变化。系统可能把已关闭窗口的句柄交给新窗口，因此引用一个号码并不足以保证点中的还是原对象。项目文档把窗口身份与进程代次一起核对，这说明可靠控制不仅需要读懂当前界面，还需要处理观察与执行之间的变化。值得先选一个可回滚的小应用验证这些边界，再考虑更复杂流程；本期只阅读文档和问题记录，没有安装或操作该工具。
需要留意
- 支持可访问性API不等于所有应用、平台和动作都可用。
- 问题记录属于维护者自测，不是独立跨平台评估。