电脑自动操作
让 AI 在后台操作你的桌面应用:截图识别界面元素、按编号点击、输入和拖拽,不抢你的鼠标键盘。
功能与用途
一般的桌面自动化一跑起来就把你的鼠标抢走,你没法同时干别的活。这个 Skill 走的是后台输入路线:先截一张带编号标注的界面图,然后按编号点击元素(比按坐标点可靠得多),你的光标和键盘焦点都不受影响。每次会返回一个明确的结果判定,比如确认生效、无法确认还是疑似没点动,确认不了就先重新截图核对,只有确实点不动才升级到前台输入。浏览器里的网页内容不归它管,得用另一套浏览器工具。
适用场景
- 每天要在某个桌面客户端里重复录入几十条表单,但同时又得盯着代:每天要在某个桌面客户端里重复录入几十条表单,但同时又得盯着代码编辑器,不想被自动化抢走光标焦点
- 某个老软件没有 API,只能点界面,想让它按界面元素编号点击:某个老软件没有 API,只能点界面,想让它按界面元素编号点击而不是猜像素坐标,减少点错
- 自动化跑了一轮看起来成功了,但结果不对,需要能拿到每步操作后:自动化跑了一轮看起来成功了,但结果不对,需要能拿到每步操作后的界面状态来判断到底是哪一步没生效
- 在 macOS 和 Windows 上都要跑同一套界面操作,:在 macOS 和 Windows 上都要跑同一套界面操作,快捷键写法还不一样,希望工具自己按平台区分
适用人群
- 要给桌面软件搭自动化流程的工程师
- 做重复性界面录入的运营支持岗
- 测试桌面客户端的 QA 工程师
使用步骤
- 先安装并配置 cua-driver 的 skill,把它指向 ~/.cua-driver/skills/cua-driver 或做符号链接
- 说明要在哪个应用里做什么(Capture 默认会按当前应用截图),把要操作的窗口说清楚
- 让它先 capture 一次拿到带编号的元素列表,从里面确认目标元素编号,而不是自己报坐标
- 执行点击或输入,操作完再看返回的效果判定:确认生效就继续,无法确认就先重新截图核实
- 如果它提示可升级,再按提示退到像素坐标或前台输入;遇到某些编辑器吞按键,改用写文件或命令行方式完成
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 效率
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-09-10
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Drive the desktop background-first; escalate on signal.
使用前准备
- 需先安装 cua-driver 并让 Hermes 指向对应的 skill 目录
- 前台输入模式需要单独审批
依赖与权限
- 读取用户主动提供的内容