AI Skill 大全

防封网页结构化采集

输入目标网址或搜索关键词,自动绕过反爬机制与地理限制,直接获取解析好的结构化 JSON 或渲染后网页数据。

功能与用途

该功能基于 Oxylabs 网页采集接口,用于在不触发反爬拦截的前提下高效提取网页数据。用户只需提供目标 URL 或检索关键词,系统即可自动调度代理池、突破防爬验证、执行 JavaScript 渲染并根据地域定位获取页面,直接输出电商商品、搜索结果等 40 多种数据源的结构化 JSON。使用前需配置 Oxylabs 账号凭据。

适用场景

  • 跨境电商竞品监控:按指定美国邮编定位抓取亚马逊商品详情,提取精准价格、库存与评价数据。
  • 搜索引擎排名监测:基于指定国家或地区检索 Google 结果,直接解析并获取自然排名与广告位列表。
  • 复杂动态网页抓取:启用 JavaScript 渲染模式,完整加载单页应用或动态渲染页面并提取正文内容。

适用人群

  • 数据分析师
  • 爬虫与后端开发工程师
  • 跨境电商运营专家
  • 市场情报研究人员

使用步骤

  1. 配置 Oxylabs 账号凭据至环境变量中
  2. 根据采集目标选择对应数据源或 universal 通用模式
  3. 设置目标 URL、关键词、地理位置或 JS 渲染等参数
  4. 发起请求并接收结构化 JSON 或处理完成的网页内容

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
编程
适用工具
Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-09-30
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Production-grade web scraping with automatic anti-bot bypass, structured JSON parsing for 40+ targets, and geo-targeting. Use when the user needs to scrape web pages, extract product data, get search results, or collect structured data from supported e-commerce and search platforms without worrying about getting blocked and when geo targeting is required.

同类 Skill