桌面应用自动操作
输入应用名称和操作目标,读取桌面界面并执行点击、输入与窗口操作,返回执行状态和界面结果。
功能与用途
用于让 AI 在本机桌面应用中执行界面操作。你提供应用名称、要填写的内容和操作目标,它可以读取按钮、输入框等界面元素,执行点击、输入、滚动、快捷键及窗口切换,并通过重新读取界面或截图确认结果。还支持剪贴板读写、通知查看和等待指定界面出现,适合把多步桌面操作串成自动化流程。使用前需安装命令行组件;目前完整实现的平台为 macOS,需为运行程序授予辅助功能权限,截图另需屏幕录制权限。
适用场景
- 桌面表单录入:读取应用中的输入框、复选框和按钮,填写指定资料并检查界面是否显示完成状态。
- 跨应用搬运文本:读取剪贴板或指定界面内容,切换到目标应用,将文本填入对应输入区域。
- 多窗口工作区整理:列出已打开的应用窗口,按要求切换焦点、移动、调整大小或最小化窗口。
- 等待桌面任务完成:等待指定文字、窗口或通知出现,再读取界面或截图,确认任务结果。
适用人群
- 搭建桌面自动化流程的开发者
- 需要跨应用录入信息的办公人员
- 集成本机应用操作能力的 AI 工作流工程师
使用步骤
- 安装桥接组件和实际程序,运行诊断确认可用。
- 检查桌面操作权限,提供目标应用和任务。
- 读取当前界面,定位需要操作的控件。
- 执行点击、输入、滚动或窗口操作。
- 等待目标状态,再读取界面或截图确认。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- AI工作流
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-11-03
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
>
使用前准备
- 安装 agent-desktop-pp-cli 桥接组件及实际的 agent-desktop 命令行程序,并确保运行环境能找到它们。
- 目前完整实现的平台为 macOS;其他平台的完整支持情况未说明。
- 为终端或 AI 运行程序授予辅助功能权限;截图需要屏幕录制权限,部分操作可能需要自动化权限。
- 目标应用需提供可识别的辅助功能界面元素,才能可靠定位按钮、输入框等控件。
依赖与权限
- PATH
- GOPATH