Playwright 反爬抓取
按目标站点的反爬等级选择抓取方案,遇到 Cloudflare 这类保护时用隐身模式取数。
功能与用途
该技能基于 Playwright 提供分级网页抓取方案,专门应对不同强度的反爬机制。用户输入目标网页链接及抓取参数,系统可根据站点防护级别按需选用轻量拉取、动态渲染或隐身脚本,最终输出页面标题、结构化文本、网页截图及 HTML 源码。隐身模式通过抹除自动化特征、伪造真实移动端指纹与随机延迟突破 Cloudflare 等防护。使用前需在本地安装 Node.js 依赖及 Chromium 内核。
适用场景
- 突破 Cloudflare 反爬拦截:面对返回 403 或验证挑战的高防护站点,通过模拟真实移动端指纹和清除自动化标记,稳定抓取正文数据并保存页面快照。
- 抓取 JS 动态渲染页面:针对依赖客户端脚本异步加载内容的网站,驱动无头浏览器等待页面渲染完成后,直接提取纯净的网页标题与完整文本。
- 留存网页快照与原始源码:在抓取受保护页面的同时自动生成屏幕截图与 HTML 离线文件,便于对采集内容进行留存归档与结果核验。
适用人群
- 数据采集工程师
- 增长运营
- 独立开发者
使用步骤
- 先判断目标站点的反爬等级。
- 按矩阵选方法:普通用内置 fetch、动态用 simple 脚本、Cloudflare 用 stealth 脚本。
- YouTube、Reddit 这类特殊站点另装专门抓取器。
- 检查返回的 JSON(含 url、title、content、elapsedSeconds)确认抓取成功。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 效率
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- 1.2.0
- 最近更新
- 2026-05-18
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Playwright-based web scraping OpenClaw Skill with anti-bot protection. Successfully tested on complex sites like Discuss.com.hk.
使用前准备
- Node.js 环境
- npm install 与 npx playwright install chromium 已执行
- (特殊站点)对应的专用抓取器
依赖与权限
- SCREENSHOT_PATH
- 读取用户主动提供的内容