AI Skill 大全

Linux图形界面控制

用命令行模拟鼠标键盘,操作 Linux 桌面应用和窗口

功能与用途

它用 wmctrl、xdotool、dogtail 这套工具在 X11/GNOME 桌面上做自动化:列出并激活窗口、点击和输入文字、按键、调整窗口大小位置,还能通过无障碍总线把应用的按钮和输入框以文本树的形式读出来,读不到就退回截图分析。只支持 Linux 的图形环境,而且目标机器要装好这几个工具。

适用场景

  • 桌面客户端自动化测试:模拟点击、文字输入及键盘快捷键,用于自动执行原生 Linux 桌面软件的交互操作与功能回归测试。
  • 多窗口排版与焦点调度:通过命令行查询并激活特定应用窗口,批量调整窗口的屏幕坐标与显示尺寸,实现工作区自动化整理。
  • 无障碍UI层级提取与定位:通过无障碍总线读取桌面应用控件文本树,直接定位按钮和输入框位置,无需硬编码屏幕坐标。
  • 视觉辅助与界面截图核验:在控件树无法解析时自动截取当前窗口或桌面,供多模态视觉模型核对界面状态并判断执行结果。

适用人群

  • 在 Linux 桌面做自动化测试的测试工程师、需要远程操控无浏览器桌面应用的运维人员、研究桌面端 Agent 操作的开发者

使用步骤

  1. 确认目标机器是 X11/GNOME 图形环境,并装好 wmctrl、xdotool、dogtail、scrot
  2. 用 wmctrl -l 列出窗口,找到要操作的那个窗口名并激活
  3. 用 inspect_ui.py 读出应用里的按钮和输入框名称,再用 scripts/gui_action.sh 执行点击、输入或按键
  4. 文本方式读不到界面时改为截图,用视觉方式判断再操作

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
IT运维与安全
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
专业
版本
1.0.0
最近更新
2026-05-17
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Control the Linux desktop GUI using xdotool, wmctrl, and dogtail. Use when you need to interact with non-browser applications, simulate mouse/keyboard input, manage windows, or inspect the UI hierarchy of applications on X11/GNOME. Supports: (1) Clicking/typing in apps, (2) Resizing/moving windows, (3) Extracting text-based UI trees from apps (A11y), (4) Taking screenshots for visual analysis.

使用前准备

  • Linux X11/GNOME 桌面环境
  • 已安装 wmctrl、xdotool、dogtail、scrot
  • 本机有 Python 3 可运行脚本

依赖与权限

  • 读取用户主动提供的内容

同类 Skill