10+年产品经理专注分享AI 工具、AI 资讯、AI Coding、Vibe Coding与下一代产品创新,按 Ctrl+D 收藏我们
关于我 留言板 标签云 排行榜

苏米客

  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
  • 登录
  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
当前位置: 首页 » AI开源项目

agent-desktop:用无障碍树替代截图,让 AI Agent 精准操控桌面软件

11分钟前 AI开源项目 0 0

AI 操控桌面软件,过去两年的主流方案是"截图→猜坐标→点击",慢、贵、还占用你的机器。一个新方案绕开了这条路——它读取系统为读屏软件准备的无障碍接口,每个控件分配一个编号,精准操作,不抢鼠标。

今天分享一个开源工具:agent-desktop,由 Vercel Labs 出品,Apache-2.0 协议。

把截图这条路绕开了

让 AI 操作电脑,这两年的方案基本是一个套路:截一张图,扔给模型,模型告诉你点哪个坐标,点下去,再截一张。

这套路能跑,但用久了会撞到四堵墙:

第一堵,输入一变就不认识。分辨率、缩放比例、系统主题、被窗口压住一半、滚动条位置、动画中间帧——随便哪一项动一下,同一个按钮在像素里就换了张脸。

第二堵,坐标没有身份。点了 (812, 446),只能证明那个位置被戳了一下,证明不了点的是保存还是取消。

第三堵,失败无法分类。点偏了、被弹窗挡住、按钮还没加载,在截图里长得一模一样,都是"画面没变化"。Agent 只能重试,可能提交了三遍。

第四堵,它得占着你的电脑。移动真实指针、发真实按键,做完你就别想同时用这台机器了。

agent-desktop 换了个问法:不看像素,去问操作系统——这个窗口里有哪些控件,分别叫什么、是什么角色、能不能点。

无障碍树:这些信息本来就在那儿

这套东西有个正经名字,叫无障碍树(Accessibility Tree)。每个系统都要求软件把界面结构报上来,好让读屏软件念给视障用户听:

系统 接口名 说明
macOS AX 辅助功能接口
Windows UI Automation 系统原生
Linux AT-SPI 桌面总线

agent-desktop 把一棵树读成 JSON,每个能操作的元素发一个 ref,格式如 @s8f3k2p9:e8——前面是快照 id,后面是元素序号。

这个设计很小但关键:写一个光秃秃的 @e8,它直接拒掉报 INVALID_ARGS,因为不知道说的是哪次观察。动作做完再快照一次,界面变了返回 STALE_REF,同一身份匹配到两个活元素返回 AMBIGUOUS_TARGET。

它不猜。宁可报错,也不照着一个长得像的东西点下去。

凭什么说不动你的鼠标

做法比听起来朴素:动作直接调系统无障碍 API,不走物理输入那条路。不移动指针,不改焦点。

它有 61 个命令名,57 个能跑。剩下四个——key-down、key-up、mouse-down、mouse-up——在所有平台拒绝执行,因为这四个会在系统里留下"按住"的状态,它没法保证有人能把它松开。

命令清单

另一个喜欢的设计是默认吐浅层快照。真实应用的树能非常大(Slack 全树超过 5 万 token),所以第一遍只走三层,深的地方挂一个 children_count,告诉 AI 这儿还有东西。要哪块,就按 ref 单独展开。

每条命令返回的 JSON 里有 disposition.delivery 字段,分四档:delivered_verified(送到了且验证过)、delivered_unverified(送到了没验证)、unknown(不知道落没落地)、not_delivered(没送到)。只有最后一档可以直接重试。

安装就两行

npm install -g agent-desktop
agent-desktop status

Windows 上即插即用,macOS 需要授予辅助功能权限。接入 Agent 的方式:

npx skills add https://github.com/vercel-labs/agent-desktop --skill agent-desktop

v1.2.0 之后还能走 MCP,Python、Go、Node 都能进程内直调。

使用循环四步:snapshot 读一次拿到 ref → click/set-value 操作 → 再 snapshot 看结果 → 验证 ref 是否过期。第四步不能省。

操作循环流程

它看不见的东西

第一条,只能看到 App 愿意报上来的东西。Canvas、游戏、自绘界面、Flutter,在树里可能只有一个空壳容器。它宁可报 ACTION_NOT_SUPPORTED,也不退回物理点击。

第二条,系统安全界面进不去。UAC 弹窗、锁屏、服务会话,一个都读不到,这些该交给人在场。

第三条,它读到的和你能看到的是两回事。快照、剪贴板、截图可能包含私人桌面内容,README 明确提醒:别往公开日志和上传里放。

432 次实测:结论对它不利

有独立开发者在 macOS 上做了对照测试:同一任务,三种方案(只用无障碍树、截图点击、AppleScript),432 次实测:

方案 中位耗时 中位成本
无障碍树(agent-desktop) 44 秒 $0.23
截图点击 16 秒 $0.10
AppleScript 8 秒 $0.06

慢还能说,贵是真贵,差了四倍。原因也不难想:ref 会过期,必须"快照→动作→再快照",步骤天生多。每轮都要把前面整段对话重读一遍,账就这么上去了。

但必须补一句公平性说明:这份实测跑的是 macOS 上的 v1.1.0,Windows 和 Linux 没测。而 macOS 恰恰是它最没优势的平台——AppleScript 的 System Events 走同一套无障碍 API,等于自带一个免费版。

那份数据证否的不是这条路,是"无障碍树在所有平台都更划算"这句话。Windows 和 Linux 上是不是另一回事,现在还没有第二份公开数据。

现在的判断

如果你只是让它在浏览器里点几下,别用这个,用 Playwright 或 agent-browser,那条路成熟得多。

如果要操作真实的桌面软件——装客户端、走安装向导、看内部工具状态——这类东西没有脚本接口,也没有网页可抓,那它现在是最省事的一条路。

如果要操作的是游戏、画布工具、自绘像素的客户端,先别抱期待,它在那种界面里基本是瞎的。

让 AI 摸电脑这件事,从"猜"变成"问",这一步总得有人先走。

Github:https://github.com/vercel-labs/agent-desktop

声明:本站原创文章文字版权归本站所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表本站立场,图文版权归原作者所有。如有侵权,请联系我们删除。
未经允许不得转载:agent-desktop:用无障碍树替代截图,让 AI Agent 精准操控桌面软件
#AI Agent #桌面自动化 #无障碍 #Claude Code #Vercel 
收藏 1
DeepSeek 开放全家桶应用 API:搜索、语音、文件解析一键接入,每个人都能创造超级 App
这是最后一篇
推荐阅读
  • CogVideoX 开源视频模型:4G 显存本地跑 AI 视频生成,文生视频/图生视频/视频续写三模式详解
  • DeerFlow 2.0:近期霸榜 GitHub 的超级 AI 员工,字节开源的执行型Agent框架
  • StoryForge:开源AI叙事工作台,让AI写长篇小说不再失忆
  • Transitions.dev:27 个开箱即用的 UI 交互动效库,支持 Claude Skills
  • ESP-Claw 开源项目详解:几美元芯片上跑 AI Agent,聊天即造物
评论 (0)
请登录后发表评论
分类精选
WeKnora:终于等到了腾讯ima的开源知识库框架,用 API 轻松打造本地智能文档检索
13425 1年前
CapCut API:一个剪映API开源项目,让AI自动剪辑视频
11278 11月前
OpenSpec:比 Cursor Plan 更聪明?试试这款让 AI 编码更靠谱的规范驱动工具
11273 1年前
AIRI:你的开源AI女友,让你随时拥有属于自己的 AI VTuber
10232 1年前
Antigravity-Manager:这个开源神器让你白嫖ClaudeOpus 4.5,Gemini 3!还能接Claude Code等任意平台
9887 10月前
就要创作:从提示词到创作团队,开源 AI 网文写作平台
9495 1年前
CompressO:开源免费的视频压缩神器,让你的硬盘瞬间轻松 10 倍
9364 1年前
AiNiee:开源AI翻译工具,完美解决游戏、小说、字幕、文档的批量翻译
8812 1年前
Claude Code 生成专业图表的 15 个 Skills:覆盖 7 种渲染引擎的完整指南
8752 7月前
awesome-openclaw-skills:700+ Skills 一条命令装配完成,如何让本地 AI Agent 真正落地可用
8747 9月前

文章目录

关于苏米客
分类排行
1 Blender Agent Skills 开源项目:28 个 Skill 覆盖 3D 建模到渲染完整管线
2 Papermorph 开源项目:把教材 PDF 变成会讲课的网页,支持数学表达式测验
3 rea-video 开源项目:AI 视频逐镜头逆向分析,支持 WorkBuddy/Codex
4 OpenFilm 开源项目:把视频变成 HTML 网页,让 AI Agent 做视频的开源工具
5 多 Agent 共享数据方法:build-your-harness 2.0 让 AI 真正记住你
6 蓝色大肥鱼 Windows AI 桌宠:内置 4B 本地模型,106 种动作陪你干活的开源桌宠
7 agent-desktop:用无障碍树替代截图,让 AI Agent 精准操控桌面软件
8 CADViewer-Skill开源:让Agent原生支持DWG解析、可视化预览、图块统计与图纸导出
9 Claude Fable 5.2+Cinecode开源工具:代码直出视频,AI自动写剧本做画面配音
10 DigUp开源本地搜索工具:用自然描述搜索图片视频音频PDF,不用记文件名
苏米客
登录 注册
显示
没有账号? · 立即注册
显示
已有账号? · 直接登录
登录代表你已同意 用户协议 和 隐私政策
©2015-2024 苏米客XMSUMI 版权所有 · WWW.XMSUMI.COM 闽ICP备14005900号-6 网站地图 百度地图
拉美跨境导航 微信文章助手 程序库 免费影视APP 免费字体下载 产品经理导航 爱克硕儿 产品经理AI资讯 Axure元件库下载 申请友联