iPhone真机操控与测试
输入想在真实iPhone上完成的任务,通过屏幕截图逐步点击、滑动和输入,完成手机操作或应用测试。
功能与用途
让AI直接查看并操作一台真实iPhone,适合设置闹钟、调整应用选项、填写表单,以及检查iOS应用的实际操作流程。你只需描述目标,它会查看屏幕,逐步点击、长按、滑动或输入,并检查每一步的结果;成功的流程可以保存,供以后复用,也能回看操作记录和截图。使用前需要准备兼容的ESP32开发板,完成固件安装、电脑蓝牙配对、手机屏幕镜像和辅助触控设置,并保持手机解锁。中文输入需通过拼音选字。
适用场景
- 验证iOS应用操作流程:在真实iPhone上逐步操作应用,检查按钮响应、页面跳转和表单输入,并回看截图记录。
- 设置重复闹钟:打开时钟应用,设置指定时间和重复日期,检查结果后保存可复用的操作流程。
- 执行跨页面手机操作:按目标打开应用、查找选项并完成设置,每次操作后查看屏幕确认进展。
适用人群
- iOS应用开发者
- 移动应用测试人员
- 手机自动化爱好者
- AI工作流搭建者
使用步骤
- 连接开发板,开启手机辅助触控和屏幕镜像。
- 在电脑上配对开发板,截图并校准指针。
- 描述要完成的手机操作或应用测试目标。
- 逐步执行操作,每步截图检查结果。
- 回看操作记录,将成功步骤保存为复用任务。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- AI工作流
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
- 使用难度
- 进阶
- 版本
- ea2b944
- 最近更新
- 2026-11-06
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
See and drive a real iPhone through an ESP32 Agent (Handsy) board with the esp32agent CLI or MCP server. Use when asked to look at, tap, swipe, type on, or operate an iPhone, or to test an iOS app on a real device.
使用前准备
- 准备Seeed Studio XIAO ESP32S3或兼容开发板,并安装v0.2.2或更新固件。
- 将开发板接入iPhone;Lightning机型需使用Lightning转USB相机转换器。
- 在iPhone上开启辅助触控,连接开发板的Wi-Fi并开启屏幕镜像,操作期间保持解锁。
- 电脑需支持蓝牙,并安装Node.js 18或更新版本及ffmpeg。
- 完成电脑与开发板配对,并通过esp32agent命令行或MCP客户端连接。
依赖与权限
- PATH