Agent Desktop

通过辅助功能树实现桌面自动化操作的CLI工具

安装使用

复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:

帮我安装这个 AI Skill:Agent Desktop。
它的用途是:通过辅助功能树实现桌面自动化操作的CLI工具
完整的 Skill 内容见:https://321skill.com/skills/agent-desktop-x-5/raw/index.md
请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。

提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。

使用示例

'使用 agent-desktop 打开记事本,输入“Hello World”并保存为 test.txt',它会自动定位记事本窗口,通过辅助功能树识别输入框,模拟键盘输入文字,然后点击菜单栏中的“文件-保存”并输入文件名。整个过程无需预设脚本,AI 动态解析桌面元素并执行。

介绍

Agent Desktop 是一个基于原生 OS 辅助功能树的命令行工具,用于让 AI 代理直接观察、交互和自动化桌面应用程序。它解决了传统桌面自动化方案依赖图像识别或坐标定位、易受屏幕分辨率变化影响、跨平台兼容性差的问题,提供一种稳定、可靠、无侵入的替代方案。

使用方法非常简单:通过 agent-desktop CLI 启动后,AI 代理可以自动识别当前桌面窗口的 UI 元素树,并执行点击、输入、读取文本等操作。你只需在对话中下达自然语言指令,工具便会自动解析并转化为底层操作。无需预先编写脚本,即开即用。

适合智能体开发者、测试工程师和运维工程师。智能体开发者可以快速为 AI 代理增加桌面操作能力;测试工程师可以编写自动化测试用例,无需修改被测应用;运维工程师可以在远程桌面或服务器上批量执行系统配置任务。

建议在 Windows 10+、macOS 11+ 或 Linux (X11/Wayland) 环境下使用,确保系统辅助功能 (Accessibility) 服务已开启。对于需要高精度图像识别或复杂鼠标轨迹模拟的场景,建议搭配其他工具互补。由于操作直接暴露给 AI,请务必在受控环境中使用,避免误操作。

核心特点

与 SikuliX、PyAutoGUI 等依赖图像匹配或坐标定位的工具不同,Agent Desktop 直接读取操作系统原生辅助功能树,不受屏幕分辨率、缩放比例或窗口位置变化影响,稳定性更高且跨平台一致性好。

注意事项

不适合需要图像识别、鼠标轨迹模拟、或对非标准 UI 框架(如游戏、自定义渲染)进行操作的场景,依赖系统辅助功能支持。

常见问题

支持哪些操作系统?

支持 Windows 10+、macOS 11+ 以及 Linux (X11/Wayland) 桌面环境。

需要安装什么依赖?

只需安装 Node.js 18+ 和 npm,然后通过 npm install -g agent-desktop 即可全局安装。

给 AI 助手的安装指引

如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:

请访问 https://321skill.com/skills/agent-desktop-x-5/raw/index.md 读取 Agent Desktop 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。