AI Skill 大全

Scrapling 数据抓取

Scrapling 官方抓取技能:用自适应解析器绕过反爬,支持隐身无头浏览、spider 框架、自适应抓取与 JS 渲染。

功能与用途

一个 Scrapling 官方抓取能力。Scrapling 是自适应网页抓取框架,解析器随网站变化自动重定位元素;fetcher 开箱绕过 Cloudflare Turnstile 等反爬;spider 框架支持并发多会话爬取、暂停/恢复、自动代理轮换,几行 Python 实现。需 Python 3.10+,Cloudflare 破解走自动化(无需 solver/凭证),代理与 CDP 模式可选由用户提供。命令行抓取须加 --ai-targeted 防提示注入。难度进阶。

适用场景

  • 穿透反爬防御抓取保护站点:针对配置了 Cloudflare Turnstile 等防护的站点,调用内置隐身无头浏览器自动绕过拦截,稳定提取正文。
  • 动态渲染网页内容提取:面对依赖 JavaScript 异步渲染的复杂网页或 SPA,通过浏览器仿真执行并借助 CSS 选择器快速捕获目标元素。
  • 命令行快速转录网页文档:无需编写 Python 脚本,直接在终端执行提取命令,将博客或技术文档直接抓取并输出为干净的 Markdown 或文本文件。
  • 编写自适应并发爬虫工程:利用 spider 框架编写多会话抓取流程,依托自适应解析器在页面结构变更时自动重定位元素,并支持代理轮换与暂停恢复。

适用人群

  • 开发者
  • 数据分析
  • 爬虫工程师

使用步骤

  1. 确认 Python 3.10+。
  2. 选 fetcher(反爬/无头/JS)。
  3. 写 spider(并发/暂停恢复/代理轮换)。
  4. 命令行加 --ai-targeted。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
编程
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
0.4.15
最近更新
2026-08-23
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Scrape web pages using Scrapling with anti-bot bypass (like Cloudflare Turnstile), stealth headless browsing, spiders framework, adaptive scraping, and JavaScript rendering. Use when asked to scrape, crawl, or extract data from websites; web_fetch fails; the site has anti-bot protections; write Pyth

使用前准备

  • Python 3.10+
  • (可选)代理/CDP

依赖与权限

  • PATH
  • SCRAPLING_EXECUTABLE_PATH
  • 读取用户主动提供的内容

同类 Skill