AI Skill 大全

网页内容采集

用 Scrapling 本地抓取库读公开网页,处理静态 HTML、JS 渲染页、Cloudflare 反爬与多页爬虫。

功能与用途

一个网页内容采集能力(用 Scrapling 库)。适用:抓静态 HTML(比浏览器工具快)、抓需真实浏览器的 JS 渲染页、绕过 Cloudflare Turnstile 等反爬、用 spider 爬多页、内置 web_extract 取不到数据时。需安装 scrapling(pip)与 Python 环境,难度进阶。

适用场景

  • 静态网页高速批量抓取:通过 HTTP 模式伪装浏览器特征,快速请求并提取大量纯 HTML 页面或 API 接口数据。
  • 动态渲染页面内容提取:调用无头浏览器执行 JavaScript,等待单页应用或懒加载组件渲染完成后再提取数据。
  • 绕过 Cloudflare 反爬验证:利用隐身模式自动化处理 Turnstile 验证码、伪装指纹并屏蔽 WebRTC 抓取受保护内容。
  • 多页面自动化爬虫巡航:使用 Spider 框架配置并发请求与延时,沿链接自动跟进抓取多级页面并导出结构化文件。

适用人群

  • 开发者
  • 数据分析
  • 爬虫工程师

使用步骤

  1. pip 安装 scrapling。
  2. 按场景选 fetcher(静态/浏览器/反爬)。
  3. 写 spider 爬多页。
  4. 处理 web_extract 取不到的数据。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
编程
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-09-10
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Scrape sites with stealth browsing and Cloudflare bypass.

使用前准备

  • Python 环境
  • pip 安装 scrapling

依赖与权限

  • 读取用户主动提供的内容

同类 Skill