AI Skill 大全

抓取打不开的网页

给被反爬、需登录外渲染或地区限制的网址或搜索词 → 经服务端代理取回网页内容或结构化搜索结果

功能与用途

做资料收集时经常碰到页面打不开:新闻站弹验证码、电商站挡机器人、单页应用不渲染出内容、搜索结果拿不到结构化数据。这个 Skill 把请求交给带住宅代理的解封服务,由它处理验证码、JS 渲染和反爬绕过,再把网页 HTML 或 Google 搜索结果(可要 JSON 格式)返回。需要先注册拿 API Token 配到环境变量里,请求走第三方服务、单条最长两分钟。

适用场景

  • 想抓的几个新闻和外媒页面一打开就是验证码或空白,普通抓取拿不:想抓的几个新闻和外媒页面一打开就是验证码或空白,普通抓取拿不到正文
  • 目标网站是单页应用,直连抓回来只有空壳,看不到实际内容:目标网站是单页应用,直连抓回来只有空壳,看不到实际内容
  • 要拿 Google 搜索结果做数据分析,但手动复制太慢,希望:要拿 Google 搜索结果做数据分析,但手动复制太慢,希望直接得到结构化 JSON
  • 之前抓到的页面内容已经过期,需要绕过缓存重新取一次最新版本:之前抓到的页面内容已经过期,需要绕过缓存重新取一次最新版本

适用人群

  • 做竞品与行业资料收集的研究人员
  • 需要批量取回网页内容的运营人员
  • 写数据采集流程的开发者

使用步骤

  1. 先注册服务并拿到 API Token,把它设置成环境变量并确认已生效
  2. 把要抓的网址或搜索词交给它,注意网址要先做编码
  3. 发起请求后等待返回,遇验证码或动态内容时服务端会自动重试和渲染
  4. 抓到的内容不完整或为空时,加长等待时间或用原始模式再试一次
  5. 得到 HTML 或结构化 JSON 后再交给后续的整理分析环节

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
知识
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
简单
版本
0.1.7
最近更新
2026-05-18
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Read any website or search Google, even when sites block bots or are geo-restricted. Handles CAPTCHAs, JavaScript rendering, and anti-bot protection server-s...

使用前准备

  • 需要注册 ClawPod(Massive Unblocker)获取 API Token 并配置为环境变量
  • 本机有 curl

依赖与权限

  • MASSIVE_UNBLOCKER_TOKEN
  • TOKEN
  • THE_URL
  • 读取用户主动提供的内容

同类 Skill