Agent Desktop
通过原生系统无障碍树实现桌面自动化
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：Agent Desktop。 它的用途是：通过原生系统无障碍树实现桌面自动化 完整的 Skill 内容见：https://321skill.com/skills/agent-desktop-x-4/raw/index.md 请读取该页面内容，如果是 SKILL.md 格式直接安装，如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接，AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
‘帮我用 agent-desktop 自动化完成在记事本中写入“Hello World”并保存的操作。’ 它会通过CLI启动服务，定位到记事本窗口和文本框，模拟键盘输入文本，然后找到“文件”菜单和“保存”按钮，模拟点击操作，完成整个流程。
介绍
Agent Desktop 是一个专为AI智能体设计的桌面自动化工具，它通过调用操作系统原生的无障碍访问树（Accessibility Tree），使AI能够像真实用户一样观察、交互并自动化桌面应用程序。它解决了AI智能体无法直接操作图形用户界面（GUI）的难题，为自动化测试、RPA流程和AI助手提供了“眼睛”和“手”。
该工具通过 agent-desktop CLI 提供核心能力。开发者或智能体可以通过命令行启动一个服务，该服务会暴露一个API接口。AI智能体通过调用此API，即可获取当前桌面的UI元素信息（如窗口、按钮、文本框），并模拟鼠标点击、键盘输入、滚动等操作，从而实现对任何桌面应用（如浏览器、办公软件、IDE）的自动化控制。
它非常适合需要进行桌面端自动化开发的工程师，特别是那些构建跨平台RPA机器人、自动化测试框架或需要与桌面软件交互的AI智能体的开发者。对于希望将AI能力扩展到传统GUI应用场景的全栈开发、智能体开发及测试工程师来说，这是一个关键的基础设施工具。
使用建议：由于直接操作系统界面，建议在受控的测试环境中先行验证自动化脚本的稳定性和准确性，避免对生产环境造成意外影响。同时，需注意不同操作系统（Windows, macOS, Linux）的无障碍树实现存在差异，可能需要针对性地调整交互逻辑。
核心特点
与基于图像识别或模拟点击的自动化工具不同，它直接利用操作系统底层的无障碍访问树进行元素定位和交互，精度更高、速度更快，且不受屏幕分辨率或颜色主题变化的影响。
注意事项
不适合用于自动化移动端应用或缺乏完善无障碍支持的旧版桌面软件。
常见问题
Agent Desktop 和 Selenium 有什么区别？
Selenium 用于Web浏览器自动化，而 Agent Desktop 用于原生桌面应用程序的自动化，适用范围更广。
它支持哪些操作系统？
支持主流操作系统，包括 Windows、macOS 和 Linux，具体依赖各系统自身的无障碍支持。
给 AI 助手的安装指引
如果你的 AI 编程助手（Claude Code、Cursor、TRAE 等）能看到这个页面，把下面这段发给它即可自动完成安装：
请访问 https://321skill.com/skills/agent-desktop-x-4/raw/index.md 读取 Agent Desktop 的原始 Skill 定义（Markdown 格式），按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址：/skills/agent-desktop-x-4/raw/index.md（查看排版版本）