AI Skill 大全

Playwright 反爬抓取

按目标站点的反爬等级选择抓取方案,遇到 Cloudflare 这类保护时用隐身模式取数。

功能与用途

该技能基于 Playwright 提供分级网页抓取方案,专门应对不同强度的反爬机制。用户输入目标网页链接及抓取参数,系统可根据站点防护级别按需选用轻量拉取、动态渲染或隐身脚本,最终输出页面标题、结构化文本、网页截图及 HTML 源码。隐身模式通过抹除自动化特征、伪造真实移动端指纹与随机延迟突破 Cloudflare 等防护。使用前需在本地安装 Node.js 依赖及 Chromium 内核。

适用场景

  • 突破 Cloudflare 反爬拦截:面对返回 403 或验证挑战的高防护站点,通过模拟真实移动端指纹和清除自动化标记,稳定抓取正文数据并保存页面快照。
  • 抓取 JS 动态渲染页面:针对依赖客户端脚本异步加载内容的网站,驱动无头浏览器等待页面渲染完成后,直接提取纯净的网页标题与完整文本。
  • 留存网页快照与原始源码:在抓取受保护页面的同时自动生成屏幕截图与 HTML 离线文件,便于对采集内容进行留存归档与结果核验。

适用人群

  • 数据采集工程师
  • 增长运营
  • 独立开发者

使用步骤

  1. 先判断目标站点的反爬等级。
  2. 按矩阵选方法:普通用内置 fetch、动态用 simple 脚本、Cloudflare 用 stealth 脚本。
  3. YouTube、Reddit 这类特殊站点另装专门抓取器。
  4. 检查返回的 JSON(含 url、title、content、elapsedSeconds)确认抓取成功。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
效率
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
1.2.0
最近更新
2026-05-18
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Playwright-based web scraping OpenClaw Skill with anti-bot protection. Successfully tested on complex sites like Discuss.com.hk.

使用前准备

  • Node.js 环境
  • npm install 与 npx playwright install chromium 已执行
  • (特殊站点)对应的专用抓取器

依赖与权限

  • SCREENSHOT_PATH
  • 读取用户主动提供的内容

同类 Skill