抓取打不开的网页
给被反爬、需登录外渲染或地区限制的网址或搜索词 → 经服务端代理取回网页内容或结构化搜索结果
功能与用途
做资料收集时经常碰到页面打不开:新闻站弹验证码、电商站挡机器人、单页应用不渲染出内容、搜索结果拿不到结构化数据。这个 Skill 把请求交给带住宅代理的解封服务,由它处理验证码、JS 渲染和反爬绕过,再把网页 HTML 或 Google 搜索结果(可要 JSON 格式)返回。需要先注册拿 API Token 配到环境变量里,请求走第三方服务、单条最长两分钟。
适用场景
- 想抓的几个新闻和外媒页面一打开就是验证码或空白,普通抓取拿不:想抓的几个新闻和外媒页面一打开就是验证码或空白,普通抓取拿不到正文
- 目标网站是单页应用,直连抓回来只有空壳,看不到实际内容:目标网站是单页应用,直连抓回来只有空壳,看不到实际内容
- 要拿 Google 搜索结果做数据分析,但手动复制太慢,希望:要拿 Google 搜索结果做数据分析,但手动复制太慢,希望直接得到结构化 JSON
- 之前抓到的页面内容已经过期,需要绕过缓存重新取一次最新版本:之前抓到的页面内容已经过期,需要绕过缓存重新取一次最新版本
适用人群
- 做竞品与行业资料收集的研究人员
- 需要批量取回网页内容的运营人员
- 写数据采集流程的开发者
使用步骤
- 先注册服务并拿到 API Token,把它设置成环境变量并确认已生效
- 把要抓的网址或搜索词交给它,注意网址要先做编码
- 发起请求后等待返回,遇验证码或动态内容时服务端会自动重试和渲染
- 抓到的内容不完整或为空时,加长等待时间或用原始模式再试一次
- 得到 HTML 或结构化 JSON 后再交给后续的整理分析环节
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 知识
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 简单
- 版本
- 0.1.7
- 最近更新
- 2026-05-18
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Read any website or search Google, even when sites block bots or are geo-restricted. Handles CAPTCHAs, JavaScript rendering, and anti-bot protection server-s...
使用前准备
- 需要注册 ClawPod(Massive Unblocker)获取 API Token 并配置为环境变量
- 本机有 curl
依赖与权限
- MASSIVE_UNBLOCKER_TOKEN
- TOKEN
- THE_URL
- 读取用户主动提供的内容