反爬网页内容抓取
常规抓取被过滤时,改用多个替代服务把网页内容取回来。
功能与用途
这是一个兜底抓取工具。正常流程先用常规抓取方式取网页内容,一旦失败或被目标站过滤,就按顺序换用替代服务:首选 jina.ai,其次是 Cloudflare 的 markdown.new,再不行用 defuddle.md 兜底。调用形式很直接,把目标地址拼在对应服务后面请求即可,也可以显式指定用哪一种方法。它解决的是「同一个页面常规方式拿不到」这个具体问题,而不是通用爬虫。
适用场景
- 防爬拦截网页兜底抓取:常规请求遭遇反爬策略或内容被过滤时,通过预设代理服务链重试并提取网页有效文本。
- Cloudflare防护站点提取:针对开启了 Cloudflare 盾保护的站点,定向调用专用解析服务绕过拦截获取正文。
- 网页正文转Markdown:将技术博客、新闻资讯等网页直接转为干净规范的 Markdown 格式,方便归档或喂给模型。
适用人群
- 数据采集者
- 内容运营
- 研究人员
使用步骤
- 先用常规抓取方式尝试
- 失败或被过滤时改用 jina.ai
- 仍失败则换 markdown.new
- 最后用 defuddle.md 兜底
- 需要时显式指定使用哪种方法
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 效率
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- 1.0.1
- 最近更新
- 2026-05-17
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
网页内容获取工具 | 当常规爬虫被过滤时,使用替代服务获取网页内容。支持:1) r.jina.ai - 最稳定 2) markdown.new - Cloudflare 专用 3) defuddle.md - 备用方案。触发词:获取网页内容、网页转markdown、内容抓取、fetch webpage、bypas...
使用前准备
- 目标网页地址
- 可发起 HTTP 请求
依赖与权限
- 读取用户主动提供的内容