AI Skill 大全

电脑自动操作

让 AI 在后台操作你的桌面应用:截图识别界面元素、按编号点击、输入和拖拽,不抢你的鼠标键盘。

功能与用途

一般的桌面自动化一跑起来就把你的鼠标抢走,你没法同时干别的活。这个 Skill 走的是后台输入路线:先截一张带编号标注的界面图,然后按编号点击元素(比按坐标点可靠得多),你的光标和键盘焦点都不受影响。每次会返回一个明确的结果判定,比如确认生效、无法确认还是疑似没点动,确认不了就先重新截图核对,只有确实点不动才升级到前台输入。浏览器里的网页内容不归它管,得用另一套浏览器工具。

适用场景

  • 每天要在某个桌面客户端里重复录入几十条表单,但同时又得盯着代:每天要在某个桌面客户端里重复录入几十条表单,但同时又得盯着代码编辑器,不想被自动化抢走光标焦点
  • 某个老软件没有 API,只能点界面,想让它按界面元素编号点击:某个老软件没有 API,只能点界面,想让它按界面元素编号点击而不是猜像素坐标,减少点错
  • 自动化跑了一轮看起来成功了,但结果不对,需要能拿到每步操作后:自动化跑了一轮看起来成功了,但结果不对,需要能拿到每步操作后的界面状态来判断到底是哪一步没生效
  • 在 macOS 和 Windows 上都要跑同一套界面操作,:在 macOS 和 Windows 上都要跑同一套界面操作,快捷键写法还不一样,希望工具自己按平台区分

适用人群

  • 要给桌面软件搭自动化流程的工程师
  • 做重复性界面录入的运营支持岗
  • 测试桌面客户端的 QA 工程师

使用步骤

  1. 先安装并配置 cua-driver 的 skill,把它指向 ~/.cua-driver/skills/cua-driver 或做符号链接
  2. 说明要在哪个应用里做什么(Capture 默认会按当前应用截图),把要操作的窗口说清楚
  3. 让它先 capture 一次拿到带编号的元素列表,从里面确认目标元素编号,而不是自己报坐标
  4. 执行点击或输入,操作完再看返回的效果判定:确认生效就继续,无法确认就先重新截图核实
  5. 如果它提示可升级,再按提示退到像素坐标或前台输入;遇到某些编辑器吞按键,改用写文件或命令行方式完成

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
效率
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-09-10
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Drive the desktop background-first; escalate on signal.

使用前准备

  • 需先安装 cua-driver 并让 Hermes 指向对应的 skill 目录
  • 前台输入模式需要单独审批

依赖与权限

  • 读取用户主动提供的内容

同类 Skill