Agent Desktop
通过原生系统无障碍树实现桌面自动化，供AI智能体观察与操作桌面应用。
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：Agent Desktop。 它的用途是：通过原生系统无障碍树实现桌面自动化，供AI智能体观察与操作桌面应用。 完整的 Skill 内容见：https://321skill.com/skills/agent-desktop/raw/index.md 请读取该页面内容，如果是 SKILL.md 格式直接安装，如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接，AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“帮我用Excel打开‘月度报表.xlsx’，在‘Sheet1’的B10单元格填入当前日期，然后保存并关闭。” 它会通过agent-desktop服务定位到Excel窗口，找到指定的单元格，并模拟键盘输入日期，最后执行保存和关闭操作。或者，你可以说：“观察一下我IDE里正在运行的构建命令输出，如果看到‘BUILD FAILED’就截图发给我。”
介绍
Agent Desktop 解决了AI智能体无法直接与桌面操作系统及其应用程序（如浏览器、办公软件、IDE）进行交互的难题。它通过调用操作系统原生的无障碍访问树（Accessibility Tree），为智能体提供了“眼睛”和“手”，使其能够读取桌面UI元素的状态、文本、位置，并模拟鼠标点击、键盘输入等操作，从而实现对桌面应用的自动化控制。
使用时，开发者或用户需要通过 agent-desktop CLI 启动一个服务端，该服务端会暴露一个API接口。AI智能体（如Claude、Cursor等）可以通过调用这个API，发送指令来获取当前桌面的截图或UI元素树，并执行具体的交互操作，例如点击某个按钮、在输入框中输入文本等。整个过程无需对目标应用进行任何修改。
这个Skill非常适合需要将AI能力延伸到传统桌面软件自动化场景的开发者，例如自动化测试工程师、RPA（机器人流程自动化）开发者、以及希望构建能够操作特定桌面工具（如Photoshop、Excel）的智能体应用的工程师。它降低了为复杂桌面应用编写自动化脚本的门槛。
需要注意的是，该Skill的稳定性和准确性高度依赖于目标应用程序对无障碍访问标准的支持程度。一些使用自定义UI控件或游戏渲染的应用程序可能无法被正确识别。此外，自动化操作可能触发应用程序的安全机制，使用时需遵守相关软件的使用条款，并谨慎处理涉及敏感信息的操作。
核心特点
与基于图像识别或模拟键盘鼠标宏的桌面自动化工具不同，它直接利用操作系统底层的无障碍API，能更精确地识别和操作UI控件，且不依赖屏幕分辨率或颜色变化，鲁棒性更强。同时，它专为AI智能体设计，提供标准化的API接口，便于集成到智能体工作流中。
注意事项
不适合自动化那些不支持或对无障碍访问支持较差的应用程序（如部分游戏、使用自定义渲染的软件）。
常见问题
agent-desktop 支持哪些操作系统？
主要支持 macOS 和 Windows，因为它们提供了成熟的原生无障碍API。Linux支持可能依赖于具体的桌面环境和辅助功能实现。
它和 Selenium/Playwright 有什么区别？
Selenium/Playwright 主要用于Web浏览器自动化。而 agent-desktop 用于自动化任何桌面应用程序，范围更广，且其底层原理是基于操作系统的无障碍树而非浏览器引擎。
给 AI 助手的安装指引
如果你的 AI 编程助手（Claude Code、Cursor、TRAE 等）能看到这个页面，把下面这段发给它即可自动完成安装：
请访问 https://321skill.com/skills/agent-desktop/raw/index.md 读取 Agent Desktop 的原始 Skill 定义（Markdown 格式），按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址：/skills/agent-desktop/raw/index.md（查看排版版本）