多端移动与电视设备UI自动化测试执行
输入目标移动应用或电视端界面指令,自动化执行点击、滑动、输入及UI树快照捕获,输出界面Diff反馈与测试执行证据。
功能与用途
该能力专为多端原生应用驱动设计,支持跨 Apple 平台(iOS、tvOS、macOS)、Android 设备以及亚马逊 Vega OS 虚拟机。通过命令行与结构化 UI 树(@refs 引用机制),它能够精准执行打开应用、元素点击、长按、文本输入、滚动至指定元素及遥控器操作,并在每一步交互后智能比对 UI 状态差异(Diff),替代高耗时的人工逐帧遍历与传统坐标点击,高效获取执行证据与界面状态。
适用场景
- 跨移动端核心业务流巡检:在 iOS、Android 真机或模拟器上自动化执行登录、滑动浏览与点击交互,比对每步 UI 差异确保流程畅通。
- 智能电视应用遥控自动化:针对 Apple TV 或 Amazon Vega TV 设备,模拟实体遥控器导航与按键点击,自动化遍历大屏焦点树。
- 多端 UI 截图与测试证据采集:利用结构化节点引用精准定位隐蔽元素,捕获交互前后界面快照与无障碍信息,为测试用例归档留证。
适用人群
- 移动端开发工程师
- 测试开发工程师(QA)
- AI Agent 自动化工作流开发者
- 智能电视应用开发人员
使用步骤
- 运行 agent-device open <app> --foreground 启动目标应用并获取包含 @refs 元素树的初始快照
- 根据快照中的元素引用执行交互动作(如 press、click、fill 或 scroll --until)
- 观察命令返回的 UI diff 结果,使用 wait 或 get 指令断言验证界面目标状态
- 测试完成后调用 agent-device close 结束设备会话并归档证据
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 编程
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-09-23
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Automates Apple-platform apps (iOS, tvOS, macOS), Android devices, and Amazon Vega OS TV apps in Vega Virtual Devices. Use when navigating apps, taking snapshots/screenshots where supported, driving TV remotes, tapping, typing, scrolling, extracting UI info, collecting evidence, or planning agent-device CLI commands.
依赖与权限
- 读取用户主动提供的内容