AI Skill 大全

桌面自动化操作

用脚本控制鼠标键盘和窗口,在本机桌面上自动完成点击输入和截图操作

功能与用途

有些事情没法靠命令行完成:某个只能在桌面软件里点的按钮、需要拖拽的操作、必须用快捷键触发的功能。这个 Skill 让脚本直接接管鼠标和键盘,模拟真实的点击、输入和快捷键,配合屏幕截图来定位界面元素,还能操作窗口和剪贴板。适合把重复的桌面操作写成一个可以反复执行的自动化流程。需要注意的是,靠坐标定位的方式对分辨率和窗口位置比较敏感,环境一变就要重新校准。

适用场景

  • 每天要在桌面软件里重复点几十次同样的一组按钮,想写成脚本自动:每天要在桌面软件里重复点几十次同样的一组按钮,想写成脚本自动跑
  • 某个操作只能通过图形界面的拖拽完成,没有可用的命令行接口:某个操作只能通过图形界面的拖拽完成,没有可用的命令行接口
  • 需要模拟真人在本机上的输入操作来验证某个桌面流程:需要模拟真人在本机上的输入操作来验证某个桌面流程
  • 要定时截取指定窗口的画面并保存下来做记录:要定时截取指定窗口的画面并保存下来做记录

适用人群

  • 需要把桌面软件里的重复操作自动化的开发者
  • 在测试或运维中要模拟真人桌面操作的工程师
  • 想让 Python 脚本接管本机鼠标键盘的自动化爱好者

使用步骤

  1. 先告诉我你要在桌面上完成什么操作,以及涉及哪个软件或窗口。
  2. 我确认环境依赖是否就绪(pyautogui、pillow、opencv-python、pygetwindow),需要时先安装。
  3. 用截图定位界面元素,规划出鼠标移动、点击和键盘输入的步骤。
  4. 把操作串成脚本运行,并用截图验证每一步的结果。
  5. 如果换了分辨率或窗口位置导致失效,我们重新校准坐标后再跑。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
效率
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
1.0.0
最近更新
2026-05-18
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Advanced desktop automation with mouse, keyboard, and screen control

使用前准备

  • 需要 Python 环境并安装 `pyautogui`、`pillow`、`opencv-python`、`pygetwindow`
  • 需要可见的桌面会话与输入控制权限

依赖与权限

  • 读取用户主动提供的内容

同类 Skill