AI Skill 大全

GUI自动化Agent设计与定位

输入桌面或浏览器自动化需求与界面问题,梳理感知行动闭环、元素定位和坐标缩放方案,得到可实施的设计与排障建议。

功能与用途

用于设计和排查让 AI Agent 操作桌面软件或浏览器的自动化流程。你可以提供目标任务、界面类型、截图或坐标偏移等问题描述,获得感知与行动循环、界面元素定位路线、坐标缩放和观察方式的建议,并了解如何逐步确认操作结果、设置不可逆操作的确认边界。适合需要实现或评估 GUI 自动化的开发者;涉及真实软件操作时,应能提供界面信息和运行环境限制。

适用场景

  • 为网页 Agent 选择元素定位方案:根据页面是否可读取 DOM 或无障碍信息,确定使用结构化元素索引还是视觉标注。
  • 排查点击坐标系统性偏移:检查模型输入分辨率、屏幕宽高比和坐标反算链路,定位点击落点错误的原因。
  • 设计桌面自动化闭环:将截图、单步动作、等待和结果复核串成循环,并规划删除或提交等操作的确认边界。
  • 评估自动化流程是否实用:记录任务成功证据、操作步数和总耗时,并与人工完成任务的成本对照。

适用人群

  • 开发 GUI 自动化 Agent 的工程师
  • 构建浏览器自动化流程的开发者
  • 评估多模态模型操作能力的研究人员
  • 负责自动化测试与桌面环境集成的工程师

使用步骤

  1. 说明目标软件、任务和可用界面信息。
  2. 补充模型、执行环境及安全限制。
  3. 选择元素定位和坐标缩放方案。
  4. 按单步动作循环设计观察与结果确认。
  5. 用运行轨迹、成功率和耗时验收流程。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
编程
适用工具
Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-11-03
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

>-

同类 Skill