AI Skill 大全

网页抓取

合规网页抓取:遵守 robots.txt、服务条款、速率限制与 GDPR/CCPA,把公开网页内容整理成结构化数据。

功能与用途

本技能用于在合规前提下将公开网页内容抓取并整理为结构化数据。用户输入目标网页链接、所需采集的公开字段及频率配置;技能遵循 robots.txt 规范、服务协议与请求频次约束,并主动剥离个人身份信息,最终输出规范的结构化数据集。适用于价格监测、公开列表抓取等场景。使用门槛为需要具备基础的爬虫代码开发或运行环境,且仅适用于公开免登录页面,不可用于采集需鉴权或涉及个人隐私的数据。

适用场景

  • 公开电商行情与比价监测:采集开放电商平台的商品公开标价与规格信息,自动执行访问间隔与速率退避控制,输出干净的事实数据用于价格分析。
  • 行业资讯与公开公告汇总:定期从行业门户采集免登录公开新闻和企业动态,快速过滤掉非必要的联系方式等隐私字段,整理为标准格式供归档。
  • 公共数据目录定期归集:对公开目录、政府开放数据平台进行友好抓取,严格遵照 robots.txt 许可范围提取条目,留存抓取日志以便审计合规。

适用人群

  • 开发者
  • 数据分析
  • 电商运营

使用步骤

  1. 先查 robots.txt 与服务条款。
  2. 区分公开/个人数据。
  3. 设速率限制与 UA、尊重 429。
  4. 剥离 PII 并留审计。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
效率
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
1.0.0
最近更新
2026-05-11
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Legal web scraping with robots.txt compliance, rate limiting, and GDPR/CCPA-aware data handling.

使用前准备

  • 目标网页与抓取需求
  • (运行)代码环境

依赖与权限

  • 读取用户主动提供的内容

同类 Skill