Agent Desktop
基于无障碍树自动化桌面操作
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：Agent Desktop。 它的用途是：基于无障碍树自动化桌面操作 完整的 Skill 内容见：https://321skill.com/skills/agent-desktop-x-8/raw/index.md 请读取该页面内容，如果是 SKILL.md 格式直接安装，如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接，AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
'请使用Agent Desktop打开桌面上的记账软件，自动填写本月收支记录表格，并保存。' 它会通过无障碍树定位软件窗口，找到日期、类别、金额等输入框，填入你提供的表格数据，最后点击保存按钮，整个过程无需人工干预。
介绍
Agent Desktop 解决的是 AI 代理如何直接观察、交互并自动化桌面应用的问题。传统方法依赖屏幕坐标截图或鼠标键盘模拟，不稳定且易受环境干扰。该工具通过原生操作系统无障碍树（Accessibility Tree）获取桌面界面元素的结构、状态和位置，让 AI 能够像人类一样精准定位按钮、输入框、列表等控件，并执行点击、输入、读取文本等操作，无需图形识别或模拟输入。
使用方式非常简单：安装 agent-desktop CLI 后，AI 代理可以调用其命令来列出当前桌面窗口的界面结构、查找特定元素、执行操作（如点击、键入、选择）以及监听界面状态变化。所有交互都通过标准输入输出进行，易于集成到任何 AI 工作流或自动化脚本中。
该工具特别适合智能体开发者为 AI 代理赋予桌面操控能力，也适合测试工程师自动化测试桌面应用 UI，以及运维工程师通过 AI 自动执行本地管理软件的日常操作（如配置面板、系统日志查看等）。对于需要跨多个桌面应用协同完成复杂任务的场景尤为实用。
使用前应确认目标应用是否支持无障碍接口（大多数现代桌面应用均支持），部分老旧或自定义控件可能无法被识别。建议与窗口管理工具（如 yabai、wmctrl）配合使用，以处理多窗口、多显示器场景。另外，操作敏感应用时请注意权限和安全边界。
核心特点
与 PyAutoGUI、SikuliX 等基于坐标或图像匹配的方案不同，Agent Desktop 直接读取操作系统无障碍树，不受屏幕分辨率、缩放比例或窗口遮挡影响，且无需模拟点击权限，更稳定、更安全，跨应用兼容性也更好。
注意事项
不适合无无障碍支持的传统应用、游戏全屏窗口，以及需要识别图形内容（如验证码、图标）的场景。
常见问题
Agent Desktop 支持哪些操作系统？
支持 macOS、Windows 和 Linux（需安装对应的无障碍服务，如 Linux 的 AT-SPI）。
运行 agent-desktop 需要管理员权限吗？
通常不需要，但某些系统（如 macOS 的辅助功能权限）需要在首次运行时授予相应权限。
给 AI 助手的安装指引
如果你的 AI 编程助手（Claude Code、Cursor、TRAE 等）能看到这个页面，把下面这段发给它即可自动完成安装：
请访问 https://321skill.com/skills/agent-desktop-x-8/raw/index.md 读取 Agent Desktop 的原始 Skill 定义（Markdown 格式），按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址：/skills/agent-desktop-x-8/raw/index.md（查看排版版本）