@agent-sh/computer-use-linux
通过MCP协议控制Linux桌面的AI技能
安装使用
复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:
帮我安装这个 AI Skill:@agent-sh/computer-use-linux。 它的用途是:通过MCP协议控制Linux桌面的AI技能 完整的 Skill 内容见:https://321skill.com/skills/agent-sh-computer-use-linux/raw/index.md 请读取该页面内容,如果是 SKILL.md 格式直接安装,如果是 README 提炼核心 prompt 后安装。
提示词包含完整的 Skill 内容链接,AI 读取后即可完成安装。你也可以 查看完整内容 确认无误。
使用示例
“帮我在LibreOffice里新建一个文档,输入标题‘周报’,然后截个图给我看看。”,它会通过MCP服务器定位LibreOffice窗口,模拟键盘输入文字,并调用截图工具将结果返回给你。
介绍
这个技能为AI Agent提供了直接与Linux桌面环境交互的能力。它通过MCP(Model Context Protocol)服务器,让AI能够读取屏幕内容、模拟键盘鼠标输入并控制特定窗口,从而实现对图形界面应用的自动化操作。
使用时,你需要先安装并运行这个MCP服务器,然后在你的AI Agent(如Claude Desktop)中配置其连接地址。之后,AI就可以通过工具调用,执行如获取屏幕截图、解析窗口结构、模拟输入等操作,完成一系列桌面任务。
它非常适合希望将AI能力与本地Linux桌面应用深度集成的开发者、自动化测试工程师以及追求极致工作流自动化的极客。通过它,AI可以像真人一样操作浏览器、IDE或任何其他GUI程序。
请注意,该技能需要运行在支持AT-SPI辅助功能接口和Wayland/X11显示服务器的Linux桌面环境中。使用时需确保AI Agent有足够的权限访问这些系统接口,并注意自动化操作可能带来的潜在风险,避免在关键生产环境中进行未经充分测试的自动化。
核心特点
与同类技能相比,它不依赖浏览器插件或远程桌面协议,而是直接通过Linux系统的原生辅助功能接口(AT-SPI)和显示服务器协议(Wayland/X11)进行底层交互,实现了更深度的系统集成和更精确的窗口控制。
注意事项
仅适用于Linux桌面环境,不支持Windows、macOS或无图形界面的服务器。
常见问题
这个技能支持哪些Linux发行版?
支持主流带有GNOME、KDE等桌面环境并启用了AT-SPI和Wayland/X11的发行版,如Ubuntu、Fedora。
它和Selenium或Playwright有什么区别?
它不局限于控制浏览器,可以控制任何桌面GUI应用,且不依赖WebDriver,是系统级的控制。
给 AI 助手的安装指引
如果你的 AI 编程助手(Claude Code、Cursor、TRAE 等)能看到这个页面,把下面这段发给它即可自动完成安装:
请访问 https://321skill.com/skills/agent-sh-computer-use-linux/raw/index.md 读取 @agent-sh/computer-use-linux 的原始 Skill 定义(Markdown 格式),按其中说明在我的环境里完成安装和配置。
AI 可直接读取的原始 Markdown 地址:/skills/agent-sh-computer-use-linux/raw/index.md(查看排版版本)