Linux图形界面控制
用命令行模拟鼠标键盘,操作 Linux 桌面应用和窗口
功能与用途
它用 wmctrl、xdotool、dogtail 这套工具在 X11/GNOME 桌面上做自动化:列出并激活窗口、点击和输入文字、按键、调整窗口大小位置,还能通过无障碍总线把应用的按钮和输入框以文本树的形式读出来,读不到就退回截图分析。只支持 Linux 的图形环境,而且目标机器要装好这几个工具。
适用场景
- 桌面客户端自动化测试:模拟点击、文字输入及键盘快捷键,用于自动执行原生 Linux 桌面软件的交互操作与功能回归测试。
- 多窗口排版与焦点调度:通过命令行查询并激活特定应用窗口,批量调整窗口的屏幕坐标与显示尺寸,实现工作区自动化整理。
- 无障碍UI层级提取与定位:通过无障碍总线读取桌面应用控件文本树,直接定位按钮和输入框位置,无需硬编码屏幕坐标。
- 视觉辅助与界面截图核验:在控件树无法解析时自动截取当前窗口或桌面,供多模态视觉模型核对界面状态并判断执行结果。
适用人群
- 在 Linux 桌面做自动化测试的测试工程师、需要远程操控无浏览器桌面应用的运维人员、研究桌面端 Agent 操作的开发者
使用步骤
- 确认目标机器是 X11/GNOME 图形环境,并装好 wmctrl、xdotool、dogtail、scrot
- 用 wmctrl -l 列出窗口,找到要操作的那个窗口名并激活
- 用 inspect_ui.py 读出应用里的按钮和输入框名称,再用 scripts/gui_action.sh 执行点击、输入或按键
- 文本方式读不到界面时改为截图,用视觉方式判断再操作
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- IT运维与安全
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 专业
- 版本
- 1.0.0
- 最近更新
- 2026-05-17
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Control the Linux desktop GUI using xdotool, wmctrl, and dogtail. Use when you need to interact with non-browser applications, simulate mouse/keyboard input, manage windows, or inspect the UI hierarchy of applications on X11/GNOME. Supports: (1) Clicking/typing in apps, (2) Resizing/moving windows, (3) Extracting text-based UI trees from apps (A11y), (4) Taking screenshots for visual analysis.
使用前准备
- Linux X11/GNOME 桌面环境
- 已安装 wmctrl、xdotool、dogtail、scrot
- 本机有 Python 3 可运行脚本
依赖与权限
- 读取用户主动提供的内容