agent-device
让AI智能体自动化测试和控制移动端、电视端及桌面端应用。
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：agent-device。 它的用途是：让AI智能体自动化测试和控制移动端、电视端及桌面端应用。 详细介绍见：https://321skill.com/skills/agent-device-callstackincubator/ 请根据该页面的说明完成安装。
使用示例
“请帮我测试这个React Native应用的新登录流程是否正常工作。”，AI会使用 agent-device 启动应用，自动执行打开登录页、输入测试账号密码、点击登录按钮、验证登录后跳转等一系列操作，并截图保存每一步的结果作为测试证据。
介绍
agent-device 是一款专为AI智能体设计的设备自动化CLI工具，它解决了AI在开发或测试过程中无法直接与真实运行的应用进行交互验证的痛点。通过提供一套命令行接口，AI智能体可以像人类用户一样，检查应用界面状态、点击按钮、输入文本、滚动屏幕，并自动保存截图等证据，从而形成一个完整的“检查-操作-验证”闭环。
使用方式非常直接：开发者或AI只需通过命令行启动一个与目标设备（如iOS模拟器、Android设备、Web浏览器等）的会话，然后发送一系列如 snapshot（获取界面快照）、press（点击元素）、fill（填充表单）等指令，agent-device 会执行这些命令并返回结构化的结果，供AI决策下一步行动。它还支持 --settle 参数等待UI稳定，确保操作的可靠性。
该工具非常适合需要自动化测试、UI验证或进行应用交互式调试的开发者与AI助手。无论是前端开发者在修改代码后需要快速验证UI效果，还是测试工程师希望构建复杂的端到端自动化测试流程，都可以通过集成 agent-device 来赋能AI代理完成这些重复性任务。
在使用时，建议优先利用应用本身的可访问性树（Accessibility Tree）进行元素定位和操作，这比依赖图像识别更稳定高效。同时，注意元素引用（refs）仅在最新输出中有效，UI变化后应及时获取新的快照。对于电视（Vega OS）等平台，目前部分功能（如物理设备控制）可能还在完善中，需查阅最新文档。
核心特点
与同类浏览器自动化工具（如Puppeteer）主要针对Web不同，agent-device 原生支持iOS、Android、tvOS、Android TV等多种移动和电视平台的原生应用自动化，并集成了对React Native组件树的检查能力，为跨平台应用开发提供了统一的自动化测试接口。
注意事项
目前对电视平台（如Amazon Fire TV）的物理设备支持和部分选择器后端功能尚不完善，主要依赖虚拟设备（VVD）。
常见问题
agent-device 和 agent-browser 是什么关系？
agent-device 借鉴了 Vercel agent-browser 的“检查-操作-验证”流程，并将其扩展到了移动、电视和桌面应用。对于Web平台，它可以直接运行 agent-browser。
使用 agent-device 需要提前准备什么环境？
需要Node.js 22.12或更高版本（Web自动化需24+），并针对目标平台（如iOS需Xcode和模拟器）安装相应的开发工具链，运行 `agent-device doctor` 可检查环境。