Agent Desktop
桌面自动化工具，让AI代理通过辅助功能树操作桌面应用
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：Agent Desktop。 它的用途是：桌面自动化工具，让AI代理通过辅助功能树操作桌面应用 完整的 Skill 内容见：https://321skill.com/skills/agent-desktop-x-7/raw/index.md 请读取该页面内容，如果是 SKILL.md 格式直接安装，如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接，AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
'请帮我打开桌面上的记事本，输入“Hello World”并保存到桌面，文件名为test.txt。' 它会调用agent-desktop CLI获取当前桌面所有窗口列表，找到记事本窗口，通过辅助功能树定位到文本输入区域，模拟键盘输入内容，然后点击“文件”菜单->“另存为”，输入文件名并确认保存。整个过程无需预设坐标，完全基于UI元素的语义标识完成。
介绍
解决什么问题：AI代理在纯文本或代码环境中无法直接操作桌面应用程序，导致许多需要图形界面交互的任务（如填写表单、操作专业软件、自动化测试桌面应用）无法自动完成。Agent Desktop 通过操作系统原生的辅助功能树（Accessibility Tree），让AI代理能够像人类一样“看到”桌面窗口的完整结构、获取元素属性，并执行点击、输入、选择等操作，弥补了AI在物理桌面环境中的能力短板。
怎么用：安装 agent-desktop CLI 工具后，AI代理可以通过命令行或集成到自定义工作流中调用该工具。例如，在Cursor或Claude中配置Agent Desktop作为MCP工具，AI即可发送指令如“获取当前活动窗口的标题和按钮列表”或“点击‘保存’按钮”，工具会返回UI结构和操作结果。支持链式调用，实现复杂的多步骤桌面自动化流程。
适合谁：需要让AI代理直接操作桌面应用的开发者、测试工程师、运维工程师，以及希望自动化重复性桌面任务（如软件安装、配置、数据录入）的办公人员。尤其适合构建能够自主操控桌面环境的智能体系统。
使用建议：建议在隔离的测试环境或虚拟机中运行，避免误操作影响生产系统。尽量使用稳定的窗口标题或自动化ID定位元素，而非模糊匹配。注意，部分使用自定义渲染技术（如游戏、WebView）的应用可能无法完整暴露辅助功能树，需提前验证兼容性。
核心特点
与传统的模拟鼠标/键盘的自动化工具（如PyAutoGUI、SikuliX）不同，Agent Desktop基于操作系统原生辅助功能树，无需依赖屏幕截图或坐标定位，能直接获取控件的语义信息和精确位置，因此更稳定、更可靠，且不受屏幕分辨率或缩放影响。
注意事项
依赖操作系统辅助功能树，对于不支持辅助功能、或使用自定义非标准控件的桌面应用（如部分游戏、老旧软件）可能无法完整获取UI结构。
常见问题
Agent Desktop支持哪些操作系统？
目前主要支持Windows和macOS，Linux支持有限（需桌面环境提供辅助功能接口）。
如何安装Agent Desktop？
执行 npm install -g agent-desktop 全局安装，然后通过 agent-desktop --help 查看可用命令。
给 AI 助手的安装指引
如果你的 AI 编程助手（Claude Code、Cursor、TRAE 等）能看到这个页面，把下面这段发给它即可自动完成安装：
请访问 https://321skill.com/skills/agent-desktop-x-7/raw/index.md 读取 Agent Desktop 的原始 Skill 定义（Markdown 格式），按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址：/skills/agent-desktop-x-7/raw/index.md（查看排版版本）