Agent Desktop
让AI代理通过命令行自动化操作桌面应用的工具
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：Agent Desktop。 它的用途是：让AI代理通过命令行自动化操作桌面应用的工具 完整的 Skill 内容见：https://321skill.com/skills/agent-desktop/raw/index.md 请读取该页面内容，如果是 SKILL.md 格式直接安装，如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接，AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“帮我打开Finder，进入下载文件夹，把所有.jpg文件拖到Photoshop里打开。” AI会先调用`agent-desktop snapshot`观察桌面，找到Finder并点击，然后导航到下载文件夹，筛选出.jpg文件，最后调用拖拽命令将它们移入Photoshop窗口。整个过程无需人工干预。
介绍
这个Skill解决了AI代理无法直接观察和操作桌面图形界面（GUI）的问题。在实际开发中，开发者经常需要让AI自动完成点击按钮、填写表单、读取UI状态等重复性桌面任务，但传统方式难以精准定位和交互。Agent Desktop通过调用操作系统原生的无障碍访问树，为AI提供了“眼睛”和“手”，使其能够像真人一样操作任何桌面应用。
使用方式很简单，你只需要在终端安装agent-desktop CLI工具，并授予系统辅助功能权限。之后就可以通过自然语言指令让AI代理调用一系列命令，例如agent-desktop snapshot --skeleton --app "Safari"来获取应用界面骨架，再使用agent-desktop click @e12来点击特定元素，实现从观察到交互的完整闭环。其核心工作流是“渐进式骨架遍历”，先概览再深入，极大优化了处理复杂界面的效率。
它非常适合需要自动化测试、数据录入或业务流程自动化的团队或个人。尤其是那些已经使用AI代理（如Claude、Cursor）进行开发或办公自动化，但受限于纯文本交互的开发者。对于测试工程师而言，它可以编写复杂的端到端UI测试脚本；对于数据分析师，它能自动从桌面软件中抓取数据；对于内容创作者，可以自动化处理图片和视频编辑软件。
建议在需要处理大量、规则明确的桌面操作任务时统一使用此工具。需要注意的是，它主要依赖于操作系统的无障碍API，因此不同平台（目前仅支持macOS）的支持度和稳定性会有差异。初次使用务必在系统设置中开启“辅助功能”和“屏幕录制”权限给终端。对于元素密集的复杂应用，遵循其推荐的“骨架-钻取”循环能显著减少AI的Token消耗并提高操作准确性。
常见问题
agent-desktop和普通的自动化脚本有什么区别？
它不是脚本，而是一个供AI调用的CLI工具。AI通过解析它返回的JSON来理解UI并决定下一步操作，实现了观察-决策-行动的智能循环。
它能自动化所有桌面软件吗？
理论上可以自动化任何支持操作系统无障碍API的桌面应用（绝大多数主流应用都支持）。但对于游戏或自定义绘制控件的软件，支持可能有限。
给 AI 助手的安装指引
如果你的 AI 编程助手（Claude Code、Cursor、TRAE 等）能看到这个页面，把下面这段发给它即可自动完成安装：
请访问 https://321skill.com/skills/agent-desktop/raw/index.md 读取 Agent Desktop 的原始 Skill 定义（Markdown 格式），按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址：/skills/agent-desktop/raw/index.md（查看排版版本）