Agent Desktop
通过无障碍树自动化桌面操作
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:Agent Desktop。 它的用途是:通过无障碍树自动化桌面操作 完整的 Skill 内容见:https://321skill.com/skills/agent-desktop-x-2/raw/index.md 请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
'使用agent-desktop打开记事本,输入“Hello World”并保存文件到桌面',它会自动查找记事本窗口,模拟键盘输入内容,然后点击菜单栏的保存按钮,完成文件保存操作。
介绍
Agent Desktop 是一个基于 CLI 的桌面自动化工具,利用操作系统原生无障碍树(Accessibility Tree)实现对桌面应用的观察、交互与自动化控制。它解决了 AI 代理无法直接操作桌面 GUI 的问题,使得 AI 能够像人类一样点击按钮、输入文本、读取窗口内容,从而完成跨应用的复杂工作流。
使用方式非常简单:通过终端运行 agent-desktop 命令,传入目标指令,工具会自动解析当前桌面元素结构,执行相应的操作。例如,你可以让 AI 打开某个软件、填写表单、截取窗口内容,甚至模拟键盘快捷键。它不需要安装额外的驱动程序或依赖,仅依赖系统自带的辅助功能接口。
适合需要批量处理桌面任务的运维工程师、测试工程师,以及希望为 AI 代理赋予桌面操控能力的智能体开发者。对于需要频繁操作多个本地应用的场景(如自动化测试、数据录入、系统监控),Agent Desktop 提供了一种低侵入、高可靠性的解决方案。
使用时需注意,不同操作系统对无障碍树的暴露程度不同,部分老旧应用可能无法完全识别。另外,执行高权限操作(如系统设置修改)可能需要授予辅助功能权限。建议在隔离的测试环境中先行验证,避免误操作影响生产环境。
核心特点
相比基于图像识别或模拟点击的桌面自动化方案,Agent Desktop 直接读取操作系统无障碍树,获取精准的界面元素层级和属性,无需屏幕截图或坐标定位,因此更稳定、更快速,且不易被界面变化干扰。
注意事项
不适合需要视觉识别图像内容(如验证码、图片按钮)或与未暴露无障碍属性的老旧应用交互的场景。
常见问题
Agent Desktop 支持哪些操作系统?
依赖无障碍树,主要支持 Windows(UIA)、macOS(AXAPI)和 Linux(AT-SPI),具体需查看项目文档。
需要 root 或管理员权限吗?
通常不需要,但某些系统级操作(如控制面板)可能需要辅助功能权限,首次使用时会自动提示授予。
给 AI 助手的安装指引
如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:
请访问 https://321skill.com/skills/agent-desktop-x-2/raw/index.md 读取 Agent Desktop 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址:/skills/agent-desktop-x-2/raw/index.md(查看排版版本)