Vercel Labs 开源 agent-desktop，让任何 AI Agent 都能直接操作电脑桌面软件。不靠截图识别、后台运行不抢鼠标、支持多 Agent 同时协作，项目上线后连续霸榜 GitHub Trending，暴涨 13000+ Star。
一、为什么需要 agent-desktop
使用 Claude Code 等 Agent 工具操作桌面软件时存在几个痛点：操作过程中用户无法碰电脑只能干等；Agent 通过截图识别内容消耗大量 Token，额度很快用完；成本高且效率低。
agent-desktop 解决了这些问题：不靠截图直接识别界面元素，后台运行不影响用户操作，还能让多个 Agent 同时工作。项目最初由开发者 Lahfir 编写，后来他加入 Vercel Labs，与之前开源的 agent-browser 形成互补——一个操作网页，一个操作桌面软件。
二、核心特性
1. 后台运行，互不干扰
默认情况下 AI 操作软件时鼠标不会动，窗口也不会跳到最前面，不会打断用户手头工作。比如让 AI 在苹果地图中查询景点，用户可以在旁边照常编辑文本，两边互不干扰。
拖拽、菜单等操作需要加 --headed 参数切换到前台。Windows 上也能在后台点击、填写和滚动，被其他窗口遮挡的软件照样能操作（最小化窗口除外）。
2. 多 Agent 协作
开启多 Agent 模式后，每个 AI 都有独立光标并标注名字，可以清楚看到哪个 AI 在做什么。系统会锁定 AI 正在操作的元素，避免冲突。
更灵活的是，可以同时接入 Claude Code 和 Codex 等不同工具的 AI，让它们一起操作同一个桌面。比如一个 AI 在备忘录写清单，另一个在提醒事项加待办，甚至可以三个 AI 在 GarageBand 中分工合奏。
3. 不消耗大量 Token
不需要截图识别，直接通过界面元素操作，大幅降低 Token 消耗。AI 能直接读取界面状态而非通过视觉理解，效率更高。
4. 跨平台支持
支持 macOS 和 Windows 系统。安装方式简单，通过 npm 即可快速部署。
三、使用场景
agent-desktop 适用于自动化办公、批量文件处理、多软件协同等场景。Agent 可以自行操作各种桌面软件，包括备忘录、日历、计算器、地图应用等，无需人工干预。对于需要跨多个软件完成的任务，多 Agent 协作模式尤其高效。
总结
agent-desktop 与 agent-browser 组合后，AI 可以覆盖网页和桌面两大操作场景，大幅扩展了 Agent 的能力边界。后台运行和多 Agent 协作是两大杀手级特性，既不影响用户工作，又能实现并行处理。
