AI Skill 大全

桌面应用自动操作

输入应用名称和操作目标,读取桌面界面并执行点击、输入与窗口操作,返回执行状态和界面结果。

功能与用途

用于让 AI 在本机桌面应用中执行界面操作。你提供应用名称、要填写的内容和操作目标,它可以读取按钮、输入框等界面元素,执行点击、输入、滚动、快捷键及窗口切换,并通过重新读取界面或截图确认结果。还支持剪贴板读写、通知查看和等待指定界面出现,适合把多步桌面操作串成自动化流程。使用前需安装命令行组件;目前完整实现的平台为 macOS,需为运行程序授予辅助功能权限,截图另需屏幕录制权限。

适用场景

  • 桌面表单录入:读取应用中的输入框、复选框和按钮,填写指定资料并检查界面是否显示完成状态。
  • 跨应用搬运文本:读取剪贴板或指定界面内容,切换到目标应用,将文本填入对应输入区域。
  • 多窗口工作区整理:列出已打开的应用窗口,按要求切换焦点、移动、调整大小或最小化窗口。
  • 等待桌面任务完成:等待指定文字、窗口或通知出现,再读取界面或截图,确认任务结果。

适用人群

  • 搭建桌面自动化流程的开发者
  • 需要跨应用录入信息的办公人员
  • 集成本机应用操作能力的 AI 工作流工程师

使用步骤

  1. 安装桥接组件和实际程序,运行诊断确认可用。
  2. 检查桌面操作权限,提供目标应用和任务。
  3. 读取当前界面,定位需要操作的控件。
  4. 执行点击、输入、滚动或窗口操作。
  5. 等待目标状态,再读取界面或截图确认。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
AI工作流
适用工具
Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-11-03
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

>

使用前准备

  • 安装 agent-desktop-pp-cli 桥接组件及实际的 agent-desktop 命令行程序,并确保运行环境能找到它们。
  • 目前完整实现的平台为 macOS;其他平台的完整支持情况未说明。
  • 为终端或 AI 运行程序授予辅助功能权限;截图需要屏幕录制权限,部分操作可能需要自动化权限。
  • 目标应用需提供可识别的辅助功能界面元素,才能可靠定位按钮、输入框等控件。

依赖与权限

  • PATH
  • GOPATH

同类 Skill