AI 操控桌面软件,过去两年的主流方案是"截图→猜坐标→点击",慢、贵、还占用你的机器。一个新方案绕开了这条路——它读取系统为读屏软件准备的无障碍接口,每个控件分配一个编号,精准操作,不抢鼠标。
今天分享一个开源工具:agent-desktop,由 Vercel Labs 出品,Apache-2.0 协议。
把截图这条路绕开了
让 AI 操作电脑,这两年的方案基本是一个套路:截一张图,扔给模型,模型告诉你点哪个坐标,点下去,再截一张。
这套路能跑,但用久了会撞到四堵墙:
第一堵,输入一变就不认识。分辨率、缩放比例、系统主题、被窗口压住一半、滚动条位置、动画中间帧——随便哪一项动一下,同一个按钮在像素里就换了张脸。
第二堵,坐标没有身份。点了 (812, 446),只能证明那个位置被戳了一下,证明不了点的是保存还是取消。
第三堵,失败无法分类。点偏了、被弹窗挡住、按钮还没加载,在截图里长得一模一样,都是"画面没变化"。Agent 只能重试,可能提交了三遍。
第四堵,它得占着你的电脑。移动真实指针、发真实按键,做完你就别想同时用这台机器了。
agent-desktop 换了个问法:不看像素,去问操作系统——这个窗口里有哪些控件,分别叫什么、是什么角色、能不能点。
无障碍树:这些信息本来就在那儿
这套东西有个正经名字,叫无障碍树(Accessibility Tree)。每个系统都要求软件把界面结构报上来,好让读屏软件念给视障用户听:
| 系统 | 接口名 | 说明 |
|---|---|---|
| macOS | AX | 辅助功能接口 |
| Windows | UI Automation | 系统原生 |
| Linux | AT-SPI | 桌面总线 |
agent-desktop 把一棵树读成 JSON,每个能操作的元素发一个 ref,格式如 @s8f3k2p9:e8——前面是快照 id,后面是元素序号。
这个设计很小但关键:写一个光秃秃的 @e8,它直接拒掉报 INVALID_ARGS,因为不知道说的是哪次观察。动作做完再快照一次,界面变了返回 STALE_REF,同一身份匹配到两个活元素返回 AMBIGUOUS_TARGET。
它不猜。宁可报错,也不照着一个长得像的东西点下去。
凭什么说不动你的鼠标
做法比听起来朴素:动作直接调系统无障碍 API,不走物理输入那条路。不移动指针,不改焦点。
它有 61 个命令名,57 个能跑。剩下四个——key-down、key-up、mouse-down、mouse-up——在所有平台拒绝执行,因为这四个会在系统里留下"按住"的状态,它没法保证有人能把它松开。

另一个喜欢的设计是默认吐浅层快照。真实应用的树能非常大(Slack 全树超过 5 万 token),所以第一遍只走三层,深的地方挂一个 children_count,告诉 AI 这儿还有东西。要哪块,就按 ref 单独展开。
每条命令返回的 JSON 里有 disposition.delivery 字段,分四档:delivered_verified(送到了且验证过)、delivered_unverified(送到了没验证)、unknown(不知道落没落地)、not_delivered(没送到)。只有最后一档可以直接重试。
安装就两行
npm install -g agent-desktop
agent-desktop status
Windows 上即插即用,macOS 需要授予辅助功能权限。接入 Agent 的方式:
npx skills add https://github.com/vercel-labs/agent-desktop --skill agent-desktop
v1.2.0 之后还能走 MCP,Python、Go、Node 都能进程内直调。
使用循环四步:snapshot 读一次拿到 ref → click/set-value 操作 → 再 snapshot 看结果 → 验证 ref 是否过期。第四步不能省。

它看不见的东西
第一条,只能看到 App 愿意报上来的东西。Canvas、游戏、自绘界面、Flutter,在树里可能只有一个空壳容器。它宁可报 ACTION_NOT_SUPPORTED,也不退回物理点击。
第二条,系统安全界面进不去。UAC 弹窗、锁屏、服务会话,一个都读不到,这些该交给人在场。
第三条,它读到的和你能看到的是两回事。快照、剪贴板、截图可能包含私人桌面内容,README 明确提醒:别往公开日志和上传里放。
432 次实测:结论对它不利
有独立开发者在 macOS 上做了对照测试:同一任务,三种方案(只用无障碍树、截图点击、AppleScript),432 次实测:
| 方案 | 中位耗时 | 中位成本 |
|---|---|---|
| 无障碍树(agent-desktop) | 44 秒 | $0.23 |
| 截图点击 | 16 秒 | $0.10 |
| AppleScript | 8 秒 | $0.06 |
慢还能说,贵是真贵,差了四倍。原因也不难想:ref 会过期,必须"快照→动作→再快照",步骤天生多。每轮都要把前面整段对话重读一遍,账就这么上去了。
但必须补一句公平性说明:这份实测跑的是 macOS 上的 v1.1.0,Windows 和 Linux 没测。而 macOS 恰恰是它最没优势的平台——AppleScript 的 System Events 走同一套无障碍 API,等于自带一个免费版。
那份数据证否的不是这条路,是"无障碍树在所有平台都更划算"这句话。Windows 和 Linux 上是不是另一回事,现在还没有第二份公开数据。
现在的判断
如果你只是让它在浏览器里点几下,别用这个,用 Playwright 或 agent-browser,那条路成熟得多。
如果要操作真实的桌面软件——装客户端、走安装向导、看内部工具状态——这类东西没有脚本接口,也没有网页可抓,那它现在是最省事的一条路。
如果要操作的是游戏、画布工具、自绘像素的客户端,先别抱期待,它在那种界面里基本是瞎的。
让 AI 摸电脑这件事,从"猜"变成"问",这一步总得有人先走。