AI Skill 大全

反爬网页内容抓取

常规抓取被过滤时,改用多个替代服务把网页内容取回来。

功能与用途

这是一个兜底抓取工具。正常流程先用常规抓取方式取网页内容,一旦失败或被目标站过滤,就按顺序换用替代服务:首选 jina.ai,其次是 Cloudflare 的 markdown.new,再不行用 defuddle.md 兜底。调用形式很直接,把目标地址拼在对应服务后面请求即可,也可以显式指定用哪一种方法。它解决的是「同一个页面常规方式拿不到」这个具体问题,而不是通用爬虫。

适用场景

  • 防爬拦截网页兜底抓取:常规请求遭遇反爬策略或内容被过滤时,通过预设代理服务链重试并提取网页有效文本。
  • Cloudflare防护站点提取:针对开启了 Cloudflare 盾保护的站点,定向调用专用解析服务绕过拦截获取正文。
  • 网页正文转Markdown:将技术博客、新闻资讯等网页直接转为干净规范的 Markdown 格式,方便归档或喂给模型。

适用人群

  • 数据采集者
  • 内容运营
  • 研究人员

使用步骤

  1. 先用常规抓取方式尝试
  2. 失败或被过滤时改用 jina.ai
  3. 仍失败则换 markdown.new
  4. 最后用 defuddle.md 兜底
  5. 需要时显式指定使用哪种方法

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
效率
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
1.0.1
最近更新
2026-05-17
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

网页内容获取工具 | 当常规爬虫被过滤时,使用替代服务获取网页内容。支持:1) r.jina.ai - 最稳定 2) markdown.new - Cloudflare 专用 3) defuddle.md - 备用方案。触发词:获取网页内容、网页转markdown、内容抓取、fetch webpage、bypas...

使用前准备

  • 目标网页地址
  • 可发起 HTTP 请求

依赖与权限

  • 读取用户主动提供的内容

同类 Skill