Scrapling 数据抓取
Scrapling 官方抓取技能:用自适应解析器绕过反爬,支持隐身无头浏览、spider 框架、自适应抓取与 JS 渲染。
功能与用途
一个 Scrapling 官方抓取能力。Scrapling 是自适应网页抓取框架,解析器随网站变化自动重定位元素;fetcher 开箱绕过 Cloudflare Turnstile 等反爬;spider 框架支持并发多会话爬取、暂停/恢复、自动代理轮换,几行 Python 实现。需 Python 3.10+,Cloudflare 破解走自动化(无需 solver/凭证),代理与 CDP 模式可选由用户提供。命令行抓取须加 --ai-targeted 防提示注入。难度进阶。
适用场景
- 穿透反爬防御抓取保护站点:针对配置了 Cloudflare Turnstile 等防护的站点,调用内置隐身无头浏览器自动绕过拦截,稳定提取正文。
- 动态渲染网页内容提取:面对依赖 JavaScript 异步渲染的复杂网页或 SPA,通过浏览器仿真执行并借助 CSS 选择器快速捕获目标元素。
- 命令行快速转录网页文档:无需编写 Python 脚本,直接在终端执行提取命令,将博客或技术文档直接抓取并输出为干净的 Markdown 或文本文件。
- 编写自适应并发爬虫工程:利用 spider 框架编写多会话抓取流程,依托自适应解析器在页面结构变更时自动重定位元素,并支持代理轮换与暂停恢复。
适用人群
- 开发者
- 数据分析
- 爬虫工程师
使用步骤
- 确认 Python 3.10+。
- 选 fetcher(反爬/无头/JS)。
- 写 spider(并发/暂停恢复/代理轮换)。
- 命令行加 --ai-targeted。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 编程
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- 0.4.15
- 最近更新
- 2026-08-23
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Scrape web pages using Scrapling with anti-bot bypass (like Cloudflare Turnstile), stealth headless browsing, spiders framework, adaptive scraping, and JavaScript rendering. Use when asked to scrape, crawl, or extract data from websites; web_fetch fails; the site has anti-bot protections; write Pyth
使用前准备
- Python 3.10+
- (可选)代理/CDP
依赖与权限
- PATH
- SCRAPLING_EXECUTABLE_PATH
- 读取用户主动提供的内容