Agent Desktop
桌面GUI自动化CLI工具，供AI代理调用
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：Agent Desktop。 它的用途是：桌面GUI自动化CLI工具，供AI代理调用 完整的 Skill 内容见：https://321skill.com/skills/agent-desktop-x-9/raw/index.md 请读取该页面内容，如果是 SKILL.md 格式直接安装，如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接，AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
'帮我打开计算器，计算123*456，然后把结果截图保存到桌面'。AI会依次调用agent-desktop snapshot --skeleton --app "Calculator"获取界面结构，找到数字按钮和运算符，执行click和type操作，最后用screenshot命令保存截图。整个过程无需人工干预。
介绍
这个Skill解决了AI代理无法直接观察和操作桌面应用程序的问题。在实际开发中，开发者经常需要让AI自动完成点击按钮、填写表单、导航菜单、读取UI状态等桌面交互任务，但传统方案要么依赖截图+坐标（脆弱且易失效），要么需要复杂的脚本编写。agent-desktop通过原生OS无障碍树获取结构化UI信息，输出带ref标识的JSON，让AI能精准定位和操作界面元素。
使用方式很简单，你只需要在终端安装agent-desktop CLI，并授予终端辅助功能和屏幕录制权限。之后就可以通过自然语言指令让AI代理调用snapshot、click、type、select等58个命令来观察和操作桌面应用。推荐采用“渐进式骨架遍历”策略：先获取应用骨架概览（—skeleton），再针对目标区域钻取（—root），最后执行操作并验证状态变化，可减少78-96%的token消耗。
它非常适合需要将AI代理能力延伸到桌面GUI的团队或个人。尤其是那些已经使用Claude、Cursor、Trae等AI编码助手，希望让它们自动完成跨应用操作（如从浏览器复制数据到Excel、自动填写OA表单、管理多窗口任务）的开发者。测试工程师可用它编写自动化测试脚本，运维人员可用它监控桌面应用状态。
建议在macOS 12+系统上统一使用此工具，并提前在系统偏好设置中为终端开启“辅助功能”和“屏幕录制”权限。需要注意的是，agent-desktop本身不是AI代理，它只是一个工具——观察-行动循环由调用它的AI代理控制。目前仅支持macOS Phase 1适配器，Windows和Linux版本正在规划中。
核心特点
与PyAutoGUI、SikuliX等基于截图+坐标的桌面自动化工具不同，agent-desktop通过原生OS无障碍树获取结构化UI元素（带ref标识），输出JSON而非像素坐标，使AI代理能稳定定位元素，不受窗口位置或分辨率变化影响。
注意事项
目前仅支持macOS 12+，需要终端获得辅助功能和屏幕录制权限；Windows和Linux适配器尚在规划中。
常见问题
支持哪些操作系统？
目前仅支持macOS 12+（Phase 1适配器），Windows和Linux版本正在开发中。
需要哪些系统权限？
需要在系统偏好设置中为终端开启“辅助功能”权限（用于无障碍树访问）和“屏幕录制”权限（用于截图）。
给 AI 助手的安装指引
如果你的 AI 编程助手（Claude Code、Cursor、TRAE 等）能看到这个页面，把下面这段发给它即可自动完成安装：
请访问 https://321skill.com/skills/agent-desktop-x-9/raw/index.md 读取 Agent Desktop 的原始 Skill 定义（Markdown 格式），按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址：/skills/agent-desktop-x-9/raw/index.md（查看排版版本）