Agent Desktop
AI代理桌面自动化工具
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:Agent Desktop。 它的用途是:AI代理桌面自动化工具 完整的 Skill 内容见:https://321skill.com/skills/agent-desktop-x-3/raw/index.md 请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
'帮我打开记事本,输入一段欢迎文字,然后保存为 test.txt 文件到桌面。' AI会调用 agent-desktop CLI 通过无障碍树定位记事本窗口,模拟键盘输入内容,并执行保存操作。全程无需人工干预,适用于自动化测试、办公流程等场景。
介绍
Agent Desktop 是一款基于操作系统原生无障碍树(Accessibility Tree)的桌面自动化 CLI 工具。当 AI 代理需要观察、交互或自动化桌面应用程序时,它能够高效地完成窗口定位、元素识别、点击输入等操作,无需依赖图形界面截图或坐标模拟,从而更稳定、更语义化地控制桌面环境。
使用方式非常简单:通过安装 agent-desktop CLI 后,AI 代理可以调用其命令来执行一系列桌面操作,例如打开指定应用、读取界面文本、模拟鼠标键盘事件等。该工具以无障碍树为桥梁,直接获取应用程序的 UI 结构信息,因此即使窗口被遮挡或缩放,也能准确命中目标元素。
适合智能体开发者、测试工程师、运维工程师等需要将桌面应用纳入自动化工作流的用户。尤其适合 AI 代理需要操作本地桌面软件(如办公套件、开发工具、行业客户端)的场景,可以大幅减少人工干预,提升端到端流程的自动化程度。
使用建议:注意确保目标应用支持无障碍树标准(Windows/macOS/Linux 主流桌面环境均支持);对于完全自定义绘制的窗口或游戏界面,无障碍树可能无法提供完整信息,建议结合其他方案。同时,授予 AI 代理桌面操作权限时需注意安全策略,避免误操作。
核心特点
与基于图像识别或坐标模拟的桌面自动化方案不同,Agent Desktop 直接利用操作系统原生无障碍树获取应用语义结构,无需处理屏幕截图、图像匹配或坐标偏移,因此对窗口位置、缩放、遮挡等变化具有更强的鲁棒性,且运行速度更快。
注意事项
不适合依赖自定义渲染或非标准 UI 框架(如游戏、高性能图形应用)的桌面自动化场景。
常见问题
是否支持跨平台?
支持 Windows、macOS 和 Linux 桌面环境,利用各平台提供的无障碍树接口。
需要管理员权限吗?
通常不需要,但某些系统级窗口或安全限制可能需要额外权限。
给 AI 助手的安装指引
如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:
请访问 https://321skill.com/skills/agent-desktop-x-3/raw/index.md 读取 Agent Desktop 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址:/skills/agent-desktop-x-3/raw/index.md(查看排版版本)