桌面 Agent 需要先知道屏幕上有哪些可操作对象。agent-desktop 提供一套命令行接口，主要读取操作系统的可访问性树：应用向系统暴露的按钮、输入框、名称与状态等结构。它把这些信息交给模型，再用原生可访问性操作执行动作；截图可辅助观察，但不是唯一的定位依据。
工作流程是先取得界面快照（snapshot），拿到与这次快照绑定的元素引用，再点击、填写或向下查看局部子树。界面变化后要重新观察，过期或含糊的目标会返回结构化错误。这样，模型能依据“这个窗口中的这个控件”行动，而不只是猜一个屏幕坐标。默认的无前台输入方式不主动抢焦点或模拟鼠标键盘；需要更广泛输入时另行选择对应模式。
概念文档特别区分 Known、Absent、Unknown：确定知道、确认不存在、没有读到可靠答案。读状态失败不能被当作按钮确定未禁用。项目覆盖 macOS、Windows、Linux，但各平台依赖和支持动作有差异，应用本身也必须暴露有用的信息。README 与协议设计给出了可实施路径，尚不能据此宣称跨应用成功率优于视觉 Agent。