Agent Desktop

通过无障碍树自动化桌面操作的CLI工具

安装使用

复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:

帮我安装这个 AI Skill:Agent Desktop。
它的用途是:通过无障碍树自动化桌面操作的CLI工具
完整的 Skill 内容见:https://321skill.com/skills/agent-desktop-x/raw/index.md
请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。

提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。

使用示例

'请用 agent-desktop 帮我自动登录微信桌面版,并给指定联系人发送消息。' 它会调用 agent-desktop 获取微信窗口的无障碍树,定位用户名输入框和密码框,模拟输入后点击登录,然后找到联系人对话框并发送预置文本内容。

介绍

Agent Desktop 是一款基于操作系统原生无障碍树(Accessibility Tree)的桌面自动化命令行工具。它让AI代理能够像人类一样“观察”桌面应用的界面元素、执行点击、输入文本、读取内容等操作,而无需依赖截图或坐标模拟。常用于自动化重复性桌面任务,如批量处理文件、自动填写表单、同步多账号数据等。

使用方式非常简单:通过 agent-desktop CLI 命令,AI可以获取当前桌面窗口的UI元素树,定位目标控件,然后执行交互操作。例如,AI可以自动打开浏览器、切换标签页、填写登录信息、点击按钮,整个过程完全基于无障碍API,稳定且高效。支持 macOS、Windows 和 Linux 主流平台。

适合需要频繁操作桌面应用的开发者和运营人员,尤其是运维工程师(自动化远程桌面监控)、测试工程师(GUI自动化测试)、社媒运营(多账号批量操作)等角色。对于电商运营、内容创作者等需要批量处理素材或上架商品的场景,也能大幅提升效率。

建议优先用于有标准无障碍支持的桌面应用(如主流浏览器、办公软件、设计工具)。对于缺乏无障碍树或自定义渲染的控件(如部分游戏、老旧软件),可能无法正常识别,此时可考虑结合图像识别方案。使用时注意权限设置,确保CLI有足够的无障碍访问权限。

核心特点

与Selenium、PyAutoGUI等方案不同,Agent Desktop 直接通过操作系统原生无障碍树获取UI元素,无需依赖屏幕分辨率或坐标,能操作不可见或重叠元素,且执行速度更快、稳定性更高。

注意事项

不适合无障碍树缺失或自定义绘制的应用(如部分游戏、非标准控件),需依赖应用自身的无障碍支持。

常见问题

Agent Desktop 支持哪些操作系统?

支持 macOS、Windows 和 Linux 主流发行版,需确保系统无障碍服务已开启。

安装后如何运行?

在终端中输入 agent-desktop 命令,即可启动交互式或脚本式桌面自动化任务。

给 AI 助手的安装指引

如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:

请访问 https://321skill.com/skills/agent-desktop-x/raw/index.md 读取 Agent Desktop 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。