clawdcursor
让AI智能体安全、稳定地控制本地桌面应用的工具。
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:clawdcursor。 它的用途是:让AI智能体安全、稳定地控制本地桌面应用的工具。 完整的 Skill 内容见:https://321skill.com/skills/clawdcursor/raw/index.md 请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“帮我在电脑上打开邮件客户端,找到‘撰写’按钮,给项目组发一封会议提醒邮件。”,它会通过Clawd Cursor定位并点击邮件客户端的图标,在界面中找到“撰写”按钮,自动填入收件人和内容,并点击发送。或者,你可以说:“自动化测试这个新安装的桌面应用的登录流程。”,它会驱动应用,在用户名和密码框中输入测试数据,点击登录,并验证是否跳转到正确的主页。
介绍
Clawd Cursor 是一个本地 MCP 服务器,旨在解决AI智能体无法直接、可靠地与真实桌面图形界面交互的难题。它通过将屏幕编译成一个包含稳定ID的UI元素地图,让智能体能够像人类一样点击、输入、读取信息,从而操作任何桌面应用,包括没有开放API的遗留软件或浏览器。
使用时,开发者只需将其作为MCP服务器安装并连接到支持MCP协议的AI开发环境(如Claude Code、Cursor等)。智能体即可通过调用其提供的工具集,以“读取UI元素 -> 执行点击/输入操作 -> 验证结果”的流程自动化桌面任务。整个过程在本地运行,无需截图发送到云端,兼顾了效率与隐私。
它非常适合需要让AI自动化操作桌面软件的开发者、测试工程师或运维人员。无论是为了自动化软件测试、执行重复性的GUI操作,还是作为当CLI或API不可用时的“最后一公里”解决方案,Clawd Cursor都能派上用场。
建议将其作为自动化流程的补充工具。优先使用应用的原生API或CLI,当这些方式不可行时,再使用Clawd Cursor来控制GUI。注意,其核心优势在于对标准UI控件的操作,对于完全基于Canvas或需要复杂空间推理的任务,可能仍需依赖备用方案。
核心特点
与同类依赖截图+视觉模型的桌面控制工具不同,它通过融合系统可访问性树和OCR生成带稳定ID的UI地图,智能体通过ID而非像素坐标操作元素,并自动验证每次操作结果,使得控制更精准、快速且成本更低。
注意事项
对于完全基于Canvas绘制、缺乏标准可访问性信息的应用,其效果可能受限,需要依赖备用的截图/视觉方案。
常见问题
Clawd Cursor 和普通的自动化脚本有什么区别?
它专为AI智能体设计,通过MCP协议提供结构化工具,让AI能理解并操作UI元素,而非录制固定坐标的鼠标键盘动作,适应性更强。
使用它需要联网吗?
核心的UI映射与操作在本地完成,无需联网,保护隐私;只有在启用备用的视觉模型分析时才可能需要网络。
给 AI 助手的安装指引
如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:
请访问 https://321skill.com/skills/clawdcursor/raw/index.md 读取 clawdcursor 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址:/skills/clawdcursor/raw/index.md(查看排版版本)